{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "#Source code with the blog post at http://monik.in/a-noobs-guide-to-implementing-rnn-lstm-using-tensorflow/\n",
    "import numpy as np\n",
    "import random\n",
    "from random import shuffle\n",
    "import tensorflow as tf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "test and training data loaded\n"
     ]
    }
   ],
   "source": [
    "NUM_EXAMPLES = 10000\n",
    "\n",
    "train_input = ['{0:020b}'.format(i) for i in range(2**20)]\n",
    "shuffle(train_input)\n",
    "train_input = [map(int,i) for i in train_input]\n",
    "ti  = []\n",
    "for i in train_input:\n",
    "    temp_list = []\n",
    "    for j in i:\n",
    "            temp_list.append([j])\n",
    "    ti.append(np.array(temp_list))\n",
    "train_input = ti\n",
    "\n",
    "train_output = []\n",
    "for i in train_input:\n",
    "    count = 0\n",
    "    for j in i:\n",
    "        if j[0] == 1:\n",
    "            count+=1\n",
    "    temp_list = ([0]*21)\n",
    "    temp_list[count]=1\n",
    "    train_output.append(temp_list)\n",
    "\n",
    "test_input = train_input[NUM_EXAMPLES:]\n",
    "test_output = train_output[NUM_EXAMPLES:]\n",
    "train_input = train_input[:NUM_EXAMPLES]\n",
    "train_output = train_output[:NUM_EXAMPLES]\n",
    "\n",
    "print \"test and training data loaded\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/kedart/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/gradients_impl.py:91: UserWarning: Converting sparse IndexedSlices to a dense Tensor of unknown shape. This may consume a large amount of memory.\n",
      "  \"Converting sparse IndexedSlices to a dense Tensor of unknown shape. \"\n"
     ]
    }
   ],
   "source": [
    "data = tf.placeholder(tf.float32, [None, 20,1]) #Number of examples, number of input, dimension of each input\n",
    "target = tf.placeholder(tf.float32, [None, 21])\n",
    "num_hidden = 24\n",
    "cell = tf.nn.rnn_cell.LSTMCell(num_hidden,state_is_tuple=True)\n",
    "val, _ = tf.nn.dynamic_rnn(cell, data, dtype=tf.float32)\n",
    "val = tf.transpose(val, [1, 0, 2])\n",
    "last = tf.gather(val, int(val.get_shape()[0]) - 1)\n",
    "weight = tf.Variable(tf.truncated_normal([num_hidden, int(target.get_shape()[1])]))\n",
    "bias = tf.Variable(tf.constant(0.1, shape=[target.get_shape()[1]]))\n",
    "prediction = tf.nn.softmax(tf.matmul(last, weight) + bias)\n",
    "cross_entropy = -tf.reduce_sum(target * tf.log(tf.clip_by_value(prediction,1e-10,1.0)))\n",
    "optimizer = tf.train.AdamOptimizer()\n",
    "minimize = optimizer.minimize(cross_entropy)\n",
    "mistakes = tf.not_equal(tf.argmax(target, 1), tf.argmax(prediction, 1))\n",
    "error = tf.reduce_mean(tf.cast(mistakes, tf.float32))\n",
    "\n",
    "init_op = tf.global_variables_initializer()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch  0\n",
      "Epoch  1\n",
      "Epoch  2\n",
      "Epoch  3\n",
      "Epoch  4\n",
      "Epoch  5\n",
      "Epoch  6\n",
      "Epoch  7\n",
      "Epoch  8\n",
      "Epoch  9\n",
      "Epoch  10\n",
      "Epoch  11\n",
      "Epoch  12\n",
      "Epoch  13\n",
      "Epoch  14\n",
      "Epoch  15\n",
      "Epoch  16\n",
      "Epoch  17\n",
      "Epoch  18\n",
      "Epoch  19\n",
      "Epoch  20\n",
      "Epoch  21\n",
      "Epoch  22\n",
      "Epoch  23\n",
      "Epoch  24\n",
      "Epoch  25\n",
      "Epoch  26\n",
      "Epoch  27\n",
      "Epoch  28\n",
      "Epoch  29\n",
      "Epoch  30\n",
      "Epoch  31\n",
      "Epoch  32\n",
      "Epoch  33\n",
      "Epoch  34\n",
      "Epoch  35\n",
      "Epoch  36\n",
      "Epoch  37\n",
      "Epoch  38\n",
      "Epoch  39\n",
      "Epoch  40\n",
      "Epoch  41\n",
      "Epoch  42\n",
      "Epoch  43\n",
      "Epoch  44\n",
      "Epoch  45\n",
      "Epoch  46\n",
      "Epoch  47\n",
      "Epoch  48\n",
      "Epoch  49\n",
      "Epoch  50\n",
      "Epoch  51\n",
      "Epoch  52\n",
      "Epoch  53\n",
      "Epoch  54\n",
      "Epoch  55\n",
      "Epoch  56\n",
      "Epoch  57\n",
      "Epoch  58\n",
      "Epoch  59\n",
      "Epoch  60\n",
      "Epoch  61\n",
      "Epoch  62\n",
      "Epoch  63\n",
      "Epoch  64\n",
      "Epoch  65\n",
      "Epoch  66\n",
      "Epoch  67\n",
      "Epoch  68\n",
      "Epoch  69\n",
      "Epoch  70\n",
      "Epoch  71\n",
      "Epoch  72\n",
      "Epoch  73\n",
      "Epoch  74\n",
      "Epoch  75\n",
      "Epoch  76\n",
      "Epoch  77\n",
      "Epoch  78\n",
      "Epoch  79\n",
      "Epoch  80\n",
      "Epoch  81\n",
      "Epoch  82\n",
      "Epoch  83\n",
      "Epoch  84\n",
      "Epoch  85\n",
      "Epoch  86\n",
      "Epoch  87\n",
      "Epoch  88\n",
      "Epoch  89\n",
      "Epoch  90\n",
      "Epoch  91\n",
      "Epoch  92\n",
      "Epoch  93\n",
      "Epoch  94\n",
      "Epoch  95\n",
      "Epoch  96\n",
      "Epoch  97\n",
      "Epoch  98\n",
      "Epoch  99\n",
      "Epoch  100\n",
      "Epoch  101\n",
      "Epoch  102\n",
      "Epoch  103\n",
      "Epoch  104\n",
      "Epoch  105\n",
      "Epoch  106\n",
      "Epoch  107\n",
      "Epoch  108\n",
      "Epoch  109\n",
      "Epoch  110\n",
      "Epoch  111\n",
      "Epoch  112\n",
      "Epoch  113\n",
      "Epoch  114\n",
      "Epoch  115\n",
      "Epoch  116\n",
      "Epoch  117\n",
      "Epoch  118\n",
      "Epoch  119\n",
      "Epoch  120\n",
      "Epoch  121\n",
      "Epoch  122\n",
      "Epoch  123\n",
      "Epoch  124\n",
      "Epoch  125\n",
      "Epoch  126\n",
      "Epoch  127\n",
      "Epoch  128\n",
      "Epoch  129\n",
      "Epoch  130\n",
      "Epoch  131\n",
      "Epoch  132\n",
      "Epoch  133\n",
      "Epoch  134\n",
      "Epoch  135\n",
      "Epoch  136\n",
      "Epoch  137\n",
      "Epoch  138\n",
      "Epoch  139\n",
      "Epoch  140\n",
      "Epoch  141\n",
      "Epoch  142\n",
      "Epoch  143\n",
      "Epoch  144\n",
      "Epoch  145\n",
      "Epoch  146\n",
      "Epoch  147\n",
      "Epoch  148\n",
      "Epoch  149\n",
      "Epoch  150\n",
      "Epoch  151\n",
      "Epoch  152\n",
      "Epoch  153\n",
      "Epoch  154\n",
      "Epoch  155\n",
      "Epoch  156\n",
      "Epoch  157\n",
      "Epoch  158\n",
      "Epoch  159\n",
      "Epoch  160\n",
      "Epoch  161\n",
      "Epoch  162\n",
      "Epoch  163\n",
      "Epoch  164\n",
      "Epoch  165\n",
      "Epoch  166\n",
      "Epoch  167\n",
      "Epoch  168\n",
      "Epoch  169\n",
      "Epoch  170\n",
      "Epoch  171\n",
      "Epoch  172\n",
      "Epoch  173\n",
      "Epoch  174\n",
      "Epoch  175\n",
      "Epoch  176\n",
      "Epoch  177\n",
      "Epoch  178\n",
      "Epoch  179\n",
      "Epoch  180\n",
      "Epoch  181\n",
      "Epoch  182\n",
      "Epoch  183\n",
      "Epoch  184\n",
      "Epoch  185\n",
      "Epoch  186\n",
      "Epoch  187\n",
      "Epoch  188\n",
      "Epoch  189\n",
      "Epoch  190\n",
      "Epoch  191\n",
      "Epoch  192\n",
      "Epoch  193\n",
      "Epoch  194\n",
      "Epoch  195\n",
      "Epoch  196\n",
      "Epoch  197\n",
      "Epoch  198\n",
      "Epoch  199\n",
      "Epoch  200\n",
      "Epoch  201\n",
      "Epoch  202\n",
      "Epoch  203\n",
      "Epoch  204\n",
      "Epoch  205\n",
      "Epoch  206\n",
      "Epoch  207\n",
      "Epoch  208\n",
      "Epoch  209\n",
      "Epoch  210\n",
      "Epoch  211\n",
      "Epoch  212\n",
      "Epoch  213\n",
      "Epoch  214\n",
      "Epoch  215\n",
      "Epoch  216\n",
      "Epoch  217\n",
      "Epoch  218\n",
      "Epoch  219\n",
      "Epoch  220\n",
      "Epoch  221\n",
      "Epoch  222\n",
      "Epoch  223\n",
      "Epoch  224\n",
      "Epoch  225\n",
      "Epoch  226\n",
      "Epoch  227\n",
      "Epoch  228\n",
      "Epoch  229\n",
      "Epoch  230\n",
      "Epoch  231\n",
      "Epoch  232\n",
      "Epoch  233\n",
      "Epoch  234\n",
      "Epoch  235\n",
      "Epoch  236\n",
      "Epoch  237\n",
      "Epoch  238\n",
      "Epoch  239\n",
      "Epoch  240\n",
      "Epoch  241\n",
      "Epoch  242\n",
      "Epoch  243\n",
      "Epoch  244\n",
      "Epoch  245\n",
      "Epoch  246\n",
      "Epoch  247\n",
      "Epoch  248\n",
      "Epoch  249\n",
      "Epoch  250\n",
      "Epoch  251\n",
      "Epoch  252\n",
      "Epoch  253\n",
      "Epoch  254\n",
      "Epoch  255\n",
      "Epoch  256\n",
      "Epoch  257\n",
      "Epoch  258\n",
      "Epoch  259\n",
      "Epoch  260\n",
      "Epoch  261\n",
      "Epoch  262\n",
      "Epoch  263\n",
      "Epoch  264\n",
      "Epoch  265\n",
      "Epoch  266\n",
      "Epoch  267\n",
      "Epoch  268\n",
      "Epoch  269\n",
      "Epoch  270\n",
      "Epoch  271\n",
      "Epoch  272\n",
      "Epoch  273\n",
      "Epoch  274\n",
      "Epoch  275\n",
      "Epoch  276\n",
      "Epoch  277\n",
      "Epoch  278\n",
      "Epoch  279\n",
      "Epoch  280\n",
      "Epoch  281\n",
      "Epoch  282\n",
      "Epoch  283\n",
      "Epoch  284\n",
      "Epoch  285\n",
      "Epoch  286\n",
      "Epoch  287\n",
      "Epoch  288\n",
      "Epoch  289\n",
      "Epoch  290\n",
      "Epoch  291\n",
      "Epoch  292\n",
      "Epoch  293\n",
      "Epoch  294\n",
      "Epoch  295\n",
      "Epoch  296\n",
      "Epoch  297\n",
      "Epoch  298\n",
      "Epoch  299\n",
      "Epoch  300\n",
      "Epoch  301\n",
      "Epoch  302\n",
      "Epoch  303\n",
      "Epoch  304\n",
      "Epoch  305\n",
      "Epoch  306\n",
      "Epoch  307\n",
      "Epoch  308\n",
      "Epoch  309\n",
      "Epoch  310\n",
      "Epoch  311\n",
      "Epoch  312\n",
      "Epoch  313\n",
      "Epoch  314\n",
      "Epoch  315\n",
      "Epoch  316\n",
      "Epoch  317\n",
      "Epoch  318\n",
      "Epoch  319\n",
      "Epoch  320\n",
      "Epoch  321\n",
      "Epoch  322\n",
      "Epoch  323\n",
      "Epoch  324\n",
      "Epoch  325\n",
      "Epoch  326\n",
      "Epoch  327\n",
      "Epoch  328\n",
      "Epoch  329\n",
      "Epoch  330\n",
      "Epoch  331\n",
      "Epoch  332\n",
      "Epoch  333\n",
      "Epoch  334\n",
      "Epoch  335\n",
      "Epoch  336\n",
      "Epoch  337\n",
      "Epoch  338\n",
      "Epoch  339\n",
      "Epoch  340\n",
      "Epoch  341\n",
      "Epoch  342\n",
      "Epoch  343\n",
      "Epoch  344\n",
      "Epoch  345\n",
      "Epoch  346\n",
      "Epoch  347\n",
      "Epoch  348\n",
      "Epoch  349\n",
      "Epoch  350\n",
      "Epoch  351\n",
      "Epoch  352\n",
      "Epoch  353\n",
      "Epoch  354\n",
      "Epoch  355\n",
      "Epoch  356\n",
      "Epoch  357\n",
      "Epoch  358\n",
      "Epoch  359\n",
      "Epoch  360\n",
      "Epoch  361\n",
      "Epoch  362\n",
      "Epoch  363\n",
      "Epoch  364\n",
      "Epoch  365\n",
      "Epoch  366\n",
      "Epoch  367\n",
      "Epoch  368\n",
      "Epoch  369\n",
      "Epoch  370\n",
      "Epoch  371\n",
      "Epoch  372\n",
      "Epoch  373\n",
      "Epoch  374\n",
      "Epoch  375\n",
      "Epoch  376\n",
      "Epoch  377\n",
      "Epoch  378\n",
      "Epoch  379\n",
      "Epoch  380\n",
      "Epoch  381\n",
      "Epoch  382\n",
      "Epoch  383\n",
      "Epoch  384\n",
      "Epoch  385\n",
      "Epoch  386\n",
      "Epoch  387\n",
      "Epoch  388\n",
      "Epoch  389\n",
      "Epoch  390\n",
      "Epoch  391\n",
      "Epoch  392\n",
      "Epoch  393\n",
      "Epoch  394\n",
      "Epoch  395\n",
      "Epoch  396\n",
      "Epoch  397\n",
      "Epoch  398\n",
      "Epoch  399\n",
      "Epoch  400\n",
      "Epoch  401\n",
      "Epoch  402\n",
      "Epoch  403\n",
      "Epoch  404\n",
      "Epoch  405\n",
      "Epoch  406\n",
      "Epoch  407\n",
      "Epoch  408\n",
      "Epoch  409\n",
      "Epoch  410\n",
      "Epoch  411\n",
      "Epoch  412\n",
      "Epoch  413\n",
      "Epoch  414\n",
      "Epoch  415\n",
      "Epoch  416\n",
      "Epoch  417\n",
      "Epoch  418\n",
      "Epoch  419\n",
      "Epoch  420\n",
      "Epoch  421\n",
      "Epoch  422\n",
      "Epoch  423\n",
      "Epoch  424\n",
      "Epoch  425\n",
      "Epoch  426\n",
      "Epoch  427\n",
      "Epoch  428\n",
      "Epoch  429\n",
      "Epoch  430\n",
      "Epoch  431\n",
      "Epoch  432\n",
      "Epoch  433\n",
      "Epoch  434\n",
      "Epoch  435\n",
      "Epoch  436\n",
      "Epoch  437\n",
      "Epoch  438\n",
      "Epoch  439\n",
      "Epoch  440\n",
      "Epoch  441\n",
      "Epoch  442\n",
      "Epoch  443\n",
      "Epoch  444\n",
      "Epoch  445\n",
      "Epoch  446\n",
      "Epoch  447\n",
      "Epoch  448\n",
      "Epoch  449\n",
      "Epoch  450\n",
      "Epoch  451\n",
      "Epoch  452\n",
      "Epoch  453\n",
      "Epoch  454\n",
      "Epoch  455\n",
      "Epoch  456\n",
      "Epoch  457\n",
      "Epoch  458\n",
      "Epoch  459\n",
      "Epoch  460\n",
      "Epoch  461\n",
      "Epoch  462\n",
      "Epoch  463\n",
      "Epoch  464\n",
      "Epoch  465\n",
      "Epoch  466\n",
      "Epoch  467\n",
      "Epoch  468\n",
      "Epoch  469\n",
      "Epoch  470\n",
      "Epoch  471\n",
      "Epoch  472\n",
      "Epoch  473\n",
      "Epoch  474\n",
      "Epoch  475\n",
      "Epoch  476\n",
      "Epoch  477\n",
      "Epoch  478\n",
      "Epoch  479\n",
      "Epoch  480\n",
      "Epoch  481\n",
      "Epoch  482\n",
      "Epoch  483\n",
      "Epoch  484\n",
      "Epoch  485\n",
      "Epoch  486\n",
      "Epoch  487\n",
      "Epoch  488\n",
      "Epoch  489\n",
      "Epoch  490\n",
      "Epoch  491\n",
      "Epoch  492\n",
      "Epoch  493\n",
      "Epoch  494\n",
      "Epoch  495\n",
      "Epoch  496\n",
      "Epoch  497\n",
      "Epoch  498\n",
      "Epoch  499\n",
      "Epoch  500\n",
      "Epoch  501\n",
      "Epoch  502\n",
      "Epoch  503\n",
      "Epoch  504\n",
      "Epoch  505\n",
      "Epoch  506\n",
      "Epoch  507\n",
      "Epoch  508\n",
      "Epoch  509\n",
      "Epoch  510\n",
      "Epoch  511\n",
      "Epoch  512\n",
      "Epoch  513\n",
      "Epoch  514\n",
      "Epoch  515\n",
      "Epoch  516\n",
      "Epoch  517\n",
      "Epoch  518\n",
      "Epoch  519\n",
      "Epoch  520\n",
      "Epoch  521\n",
      "Epoch  522\n",
      "Epoch  523\n",
      "Epoch  524\n",
      "Epoch  525\n",
      "Epoch  526\n",
      "Epoch  527\n",
      "Epoch  528\n",
      "Epoch  529\n",
      "Epoch  530\n",
      "Epoch  531\n",
      "Epoch  532\n",
      "Epoch  533\n",
      "Epoch  534\n",
      "Epoch  535\n",
      "Epoch  536\n",
      "Epoch  537\n",
      "Epoch  538\n",
      "Epoch  539\n",
      "Epoch  540\n",
      "Epoch  541\n",
      "Epoch  542\n",
      "Epoch  543\n",
      "Epoch  544\n",
      "Epoch  545\n",
      "Epoch  546\n",
      "Epoch  547\n",
      "Epoch  548\n",
      "Epoch  549\n",
      "Epoch  550\n",
      "Epoch  551\n",
      "Epoch  552\n",
      "Epoch  553\n",
      "Epoch  554\n",
      "Epoch  555\n",
      "Epoch  556\n",
      "Epoch  557\n",
      "Epoch  558\n",
      "Epoch  559\n",
      "Epoch  560\n",
      "Epoch  561\n",
      "Epoch  562\n",
      "Epoch  563\n",
      "Epoch  564\n",
      "Epoch  565\n",
      "Epoch  566\n",
      "Epoch  567\n",
      "Epoch  568\n",
      "Epoch  569\n",
      "Epoch  570\n",
      "Epoch  571\n",
      "Epoch  572\n",
      "Epoch  573\n",
      "Epoch  574\n",
      "Epoch  575\n",
      "Epoch  576\n",
      "Epoch  577\n",
      "Epoch  578\n",
      "Epoch  579\n",
      "Epoch  580\n",
      "Epoch  581\n",
      "Epoch  582\n",
      "Epoch  583\n",
      "Epoch  584\n",
      "Epoch  585\n",
      "Epoch  586\n",
      "Epoch  587\n",
      "Epoch  588\n",
      "Epoch  589\n",
      "Epoch  590\n",
      "Epoch  591\n",
      "Epoch  592\n",
      "Epoch  593\n",
      "Epoch  594\n",
      "Epoch  595\n",
      "Epoch  596\n",
      "Epoch  597\n",
      "Epoch  598\n",
      "Epoch  599\n",
      "Epoch  600\n",
      "Epoch  601\n",
      "Epoch  602\n",
      "Epoch  603\n",
      "Epoch  604\n",
      "Epoch  605\n",
      "Epoch  606\n",
      "Epoch  607\n",
      "Epoch  608\n",
      "Epoch  609\n",
      "Epoch  610\n",
      "Epoch  611\n",
      "Epoch  612\n",
      "Epoch  613\n",
      "Epoch  614\n",
      "Epoch  615\n",
      "Epoch  616\n",
      "Epoch  617\n",
      "Epoch  618\n",
      "Epoch  619\n",
      "Epoch  620\n",
      "Epoch  621\n",
      "Epoch  622\n",
      "Epoch  623\n",
      "Epoch  624\n",
      "Epoch  625\n",
      "Epoch  626\n",
      "Epoch  627\n",
      "Epoch  628\n",
      "Epoch  629\n",
      "Epoch  630\n",
      "Epoch  631\n",
      "Epoch  632\n",
      "Epoch  633\n",
      "Epoch  634\n",
      "Epoch  635\n",
      "Epoch  636\n",
      "Epoch  637\n",
      "Epoch  638\n",
      "Epoch  639\n",
      "Epoch  640\n",
      "Epoch  641\n",
      "Epoch  642\n",
      "Epoch  643\n",
      "Epoch  644\n",
      "Epoch  645\n",
      "Epoch  646\n",
      "Epoch  647\n",
      "Epoch  648\n",
      "Epoch  649\n",
      "Epoch  650\n",
      "Epoch  651\n",
      "Epoch  652\n",
      "Epoch  653\n",
      "Epoch  654\n",
      "Epoch  655\n",
      "Epoch  656\n",
      "Epoch  657\n",
      "Epoch  658\n",
      "Epoch  659\n",
      "Epoch  660\n",
      "Epoch  661\n",
      "Epoch  662\n",
      "Epoch  663\n",
      "Epoch  664\n",
      "Epoch  665\n",
      "Epoch  666\n",
      "Epoch  667\n",
      "Epoch  668\n",
      "Epoch  669\n",
      "Epoch  670\n",
      "Epoch  671\n",
      "Epoch  672\n",
      "Epoch  673\n",
      "Epoch  674\n",
      "Epoch  675\n",
      "Epoch  676\n",
      "Epoch  677\n",
      "Epoch  678\n",
      "Epoch  679\n",
      "Epoch  680\n",
      "Epoch  681\n",
      "Epoch  682\n",
      "Epoch  683\n",
      "Epoch  684\n",
      "Epoch  685\n",
      "Epoch  686\n",
      "Epoch  687\n",
      "Epoch  688\n",
      "Epoch  689\n",
      "Epoch  690\n",
      "Epoch  691\n",
      "Epoch  692\n",
      "Epoch  693\n",
      "Epoch  694\n",
      "Epoch  695\n",
      "Epoch  696\n",
      "Epoch  697\n",
      "Epoch  698\n",
      "Epoch  699\n",
      "Epoch  700\n",
      "Epoch  701\n",
      "Epoch  702\n",
      "Epoch  703\n",
      "Epoch  704\n",
      "Epoch  705\n",
      "Epoch  706\n",
      "Epoch  707\n",
      "Epoch  708\n",
      "Epoch  709\n",
      "Epoch  710\n",
      "Epoch  711\n",
      "Epoch  712\n",
      "Epoch  713\n",
      "Epoch  714\n",
      "Epoch  715\n",
      "Epoch  716\n",
      "Epoch  717\n",
      "Epoch  718\n",
      "Epoch  719\n",
      "Epoch  720\n",
      "Epoch  721\n",
      "Epoch  722\n",
      "Epoch  723\n",
      "Epoch  724\n",
      "Epoch  725\n",
      "Epoch  726\n",
      "Epoch  727\n",
      "Epoch  728\n",
      "Epoch  729\n",
      "Epoch  730\n",
      "Epoch  731\n",
      "Epoch  732\n",
      "Epoch  733\n",
      "Epoch  734\n",
      "Epoch  735\n",
      "Epoch  736\n",
      "Epoch  737\n",
      "Epoch  738\n",
      "Epoch  739\n",
      "Epoch  740\n",
      "Epoch  741\n",
      "Epoch  742\n",
      "Epoch  743\n",
      "Epoch  744\n",
      "Epoch  745\n",
      "Epoch  746\n",
      "Epoch  747\n",
      "Epoch  748\n",
      "Epoch  749\n",
      "Epoch  750\n",
      "Epoch  751\n",
      "Epoch  752\n",
      "Epoch  753\n",
      "Epoch  754\n",
      "Epoch  755\n",
      "Epoch  756\n",
      "Epoch  757\n",
      "Epoch  758\n",
      "Epoch  759\n",
      "Epoch  760\n",
      "Epoch  761\n",
      "Epoch  762\n",
      "Epoch  763\n",
      "Epoch  764\n",
      "Epoch  765\n",
      "Epoch  766\n",
      "Epoch  767\n",
      "Epoch  768\n",
      "Epoch  769\n",
      "Epoch  770\n",
      "Epoch  771\n",
      "Epoch  772\n",
      "Epoch  773\n",
      "Epoch  774\n",
      "Epoch  775\n",
      "Epoch  776\n",
      "Epoch  777\n",
      "Epoch  778\n",
      "Epoch  779\n",
      "Epoch  780\n",
      "Epoch  781\n",
      "Epoch  782\n",
      "Epoch  783\n",
      "Epoch  784\n",
      "Epoch  785\n",
      "Epoch  786\n",
      "Epoch  787\n",
      "Epoch  788\n",
      "Epoch  789\n",
      "Epoch  790\n",
      "Epoch  791\n",
      "Epoch  792\n",
      "Epoch  793\n",
      "Epoch  794\n",
      "Epoch  795\n",
      "Epoch  796\n",
      "Epoch  797\n",
      "Epoch  798\n",
      "Epoch  799\n",
      "Epoch  800\n",
      "Epoch  801\n",
      "Epoch  802\n",
      "Epoch  803\n",
      "Epoch  804\n",
      "Epoch  805\n",
      "Epoch  806\n",
      "Epoch  807\n",
      "Epoch  808\n",
      "Epoch  809\n",
      "Epoch  810\n",
      "Epoch  811\n",
      "Epoch  812\n",
      "Epoch  813\n",
      "Epoch  814\n",
      "Epoch  815\n",
      "Epoch  816\n",
      "Epoch  817\n",
      "Epoch  818\n",
      "Epoch  819\n",
      "Epoch  820\n",
      "Epoch  821\n",
      "Epoch  822\n",
      "Epoch  823\n",
      "Epoch  824\n",
      "Epoch  825\n",
      "Epoch  826\n",
      "Epoch  827\n",
      "Epoch  828\n",
      "Epoch  829\n",
      "Epoch  830\n",
      "Epoch  831\n",
      "Epoch  832\n",
      "Epoch  833\n",
      "Epoch  834\n",
      "Epoch  835\n",
      "Epoch  836\n",
      "Epoch  837\n",
      "Epoch  838\n",
      "Epoch  839\n",
      "Epoch  840\n",
      "Epoch  841\n",
      "Epoch  842\n",
      "Epoch  843\n",
      "Epoch  844\n",
      "Epoch  845\n",
      "Epoch  846\n",
      "Epoch  847\n",
      "Epoch  848\n",
      "Epoch  849\n",
      "Epoch  850\n",
      "Epoch  851\n",
      "Epoch  852\n",
      "Epoch  853\n",
      "Epoch  854\n",
      "Epoch  855\n",
      "Epoch  856\n",
      "Epoch  857\n",
      "Epoch  858\n",
      "Epoch  859\n",
      "Epoch  860\n",
      "Epoch  861\n",
      "Epoch  862\n",
      "Epoch  863\n",
      "Epoch  864\n",
      "Epoch  865\n",
      "Epoch  866\n",
      "Epoch  867\n",
      "Epoch  868\n",
      "Epoch  869\n",
      "Epoch  870\n",
      "Epoch  871\n",
      "Epoch  872\n",
      "Epoch  873\n",
      "Epoch  874\n",
      "Epoch  875\n",
      "Epoch  876\n",
      "Epoch  877\n",
      "Epoch  878\n",
      "Epoch  879\n",
      "Epoch  880\n",
      "Epoch  881\n",
      "Epoch  882\n",
      "Epoch  883\n",
      "Epoch  884\n",
      "Epoch  885\n",
      "Epoch  886\n",
      "Epoch  887\n",
      "Epoch  888\n",
      "Epoch  889\n",
      "Epoch  890\n",
      "Epoch  891\n",
      "Epoch  892\n",
      "Epoch  893\n",
      "Epoch  894\n",
      "Epoch  895\n",
      "Epoch  896\n",
      "Epoch  897\n",
      "Epoch  898\n",
      "Epoch  899\n",
      "Epoch  900\n",
      "Epoch  901\n",
      "Epoch  902\n",
      "Epoch  903\n",
      "Epoch  904\n",
      "Epoch  905\n",
      "Epoch  906\n",
      "Epoch  907\n",
      "Epoch  908\n",
      "Epoch  909\n",
      "Epoch  910\n",
      "Epoch  911\n",
      "Epoch  912\n",
      "Epoch  913\n",
      "Epoch  914\n",
      "Epoch  915\n",
      "Epoch  916\n",
      "Epoch  917\n",
      "Epoch  918\n",
      "Epoch  919\n",
      "Epoch  920\n",
      "Epoch  921\n",
      "Epoch  922\n",
      "Epoch  923\n",
      "Epoch  924\n",
      "Epoch  925\n",
      "Epoch  926\n",
      "Epoch  927\n",
      "Epoch  928\n",
      "Epoch  929\n",
      "Epoch  930\n",
      "Epoch  931\n",
      "Epoch  932\n",
      "Epoch  933\n",
      "Epoch  934\n",
      "Epoch  935\n",
      "Epoch  936\n",
      "Epoch  937\n",
      "Epoch  938\n",
      "Epoch  939\n",
      "Epoch  940\n",
      "Epoch  941\n",
      "Epoch  942\n",
      "Epoch  943\n",
      "Epoch  944\n",
      "Epoch  945\n",
      "Epoch  946\n",
      "Epoch  947\n",
      "Epoch  948\n",
      "Epoch  949\n",
      "Epoch  950\n",
      "Epoch  951\n",
      "Epoch  952\n",
      "Epoch  953\n",
      "Epoch  954\n",
      "Epoch  955\n",
      "Epoch  956\n",
      "Epoch  957\n",
      "Epoch  958\n",
      "Epoch  959\n",
      "Epoch  960\n",
      "Epoch  961\n",
      "Epoch  962\n",
      "Epoch  963\n",
      "Epoch  964\n",
      "Epoch  965\n",
      "Epoch  966\n",
      "Epoch  967\n",
      "Epoch  968\n",
      "Epoch  969\n",
      "Epoch  970\n",
      "Epoch  971\n",
      "Epoch  972\n",
      "Epoch  973\n",
      "Epoch  974\n",
      "Epoch  975\n",
      "Epoch  976\n",
      "Epoch  977\n",
      "Epoch  978\n",
      "Epoch  979\n",
      "Epoch  980\n",
      "Epoch  981\n",
      "Epoch  982\n",
      "Epoch  983\n",
      "Epoch  984\n",
      "Epoch  985\n",
      "Epoch  986\n",
      "Epoch  987\n",
      "Epoch  988\n",
      "Epoch  989\n",
      "Epoch  990\n",
      "Epoch  991\n",
      "Epoch  992\n",
      "Epoch  993\n",
      "Epoch  994\n",
      "Epoch  995\n",
      "Epoch  996\n",
      "Epoch  997\n",
      "Epoch  998\n",
      "Epoch  999\n",
      "Epoch  1000\n",
      "Epoch  1001\n",
      "Epoch  1002\n",
      "Epoch  1003\n",
      "Epoch  1004\n",
      "Epoch  1005\n",
      "Epoch  1006\n",
      "Epoch  1007\n",
      "Epoch  1008\n",
      "Epoch  1009\n",
      "Epoch  1010\n",
      "Epoch  1011\n",
      "Epoch  1012\n",
      "Epoch  1013\n",
      "Epoch  1014\n",
      "Epoch  1015\n",
      "Epoch  1016\n",
      "Epoch  1017\n",
      "Epoch  1018\n",
      "Epoch  1019\n",
      "Epoch  1020\n",
      "Epoch  1021\n",
      "Epoch  1022\n",
      "Epoch  1023\n",
      "Epoch  1024\n",
      "Epoch  1025\n",
      "Epoch  1026\n",
      "Epoch  1027\n",
      "Epoch  1028\n",
      "Epoch  1029\n",
      "Epoch  1030\n",
      "Epoch  1031\n",
      "Epoch  1032\n",
      "Epoch  1033\n",
      "Epoch  1034\n",
      "Epoch  1035\n",
      "Epoch  1036\n",
      "Epoch  1037\n",
      "Epoch  1038\n",
      "Epoch  1039\n",
      "Epoch  1040\n",
      "Epoch  1041\n",
      "Epoch  1042\n",
      "Epoch  1043\n",
      "Epoch  1044\n",
      "Epoch  1045\n",
      "Epoch  1046\n",
      "Epoch  1047\n",
      "Epoch  1048\n",
      "Epoch  1049\n",
      "Epoch  1050\n",
      "Epoch  1051\n",
      "Epoch  1052\n",
      "Epoch  1053\n",
      "Epoch  1054\n",
      "Epoch  1055\n",
      "Epoch  1056\n",
      "Epoch  1057\n",
      "Epoch  1058\n",
      "Epoch  1059\n",
      "Epoch  1060\n",
      "Epoch  1061\n",
      "Epoch  1062\n",
      "Epoch  1063\n",
      "Epoch  1064\n",
      "Epoch  1065\n",
      "Epoch  1066\n",
      "Epoch  1067\n",
      "Epoch  1068\n",
      "Epoch  1069\n",
      "Epoch  1070\n",
      "Epoch  1071\n",
      "Epoch  1072\n",
      "Epoch  1073\n",
      "Epoch  1074\n",
      "Epoch  1075\n",
      "Epoch  1076\n",
      "Epoch  1077\n",
      "Epoch  1078\n",
      "Epoch  1079\n",
      "Epoch  1080\n",
      "Epoch  1081\n",
      "Epoch  1082\n",
      "Epoch  1083\n",
      "Epoch  1084\n",
      "Epoch  1085\n",
      "Epoch  1086\n",
      "Epoch  1087\n",
      "Epoch  1088\n",
      "Epoch  1089\n",
      "Epoch  1090\n",
      "Epoch  1091\n",
      "Epoch  1092\n",
      "Epoch  1093\n",
      "Epoch  1094\n",
      "Epoch  1095\n",
      "Epoch  1096\n",
      "Epoch  1097\n",
      "Epoch  1098\n",
      "Epoch  1099\n",
      "Epoch  1100\n",
      "Epoch  1101\n",
      "Epoch  1102\n",
      "Epoch  1103\n",
      "Epoch  1104\n",
      "Epoch  1105\n",
      "Epoch  1106\n",
      "Epoch  1107\n",
      "Epoch  1108\n",
      "Epoch  1109\n",
      "Epoch  1110\n",
      "Epoch  1111\n",
      "Epoch  1112\n",
      "Epoch  1113\n",
      "Epoch  1114\n",
      "Epoch  1115\n",
      "Epoch  1116\n",
      "Epoch  1117\n",
      "Epoch  1118\n",
      "Epoch  1119\n",
      "Epoch  1120\n",
      "Epoch  1121\n",
      "Epoch  1122\n",
      "Epoch  1123\n",
      "Epoch  1124\n",
      "Epoch  1125\n",
      "Epoch  1126\n",
      "Epoch  1127\n",
      "Epoch  1128\n",
      "Epoch  1129\n",
      "Epoch  1130\n",
      "Epoch  1131\n",
      "Epoch  1132\n",
      "Epoch  1133\n",
      "Epoch  1134\n",
      "Epoch  1135\n",
      "Epoch  1136\n",
      "Epoch  1137\n",
      "Epoch  1138\n",
      "Epoch  1139\n",
      "Epoch  1140\n",
      "Epoch  1141\n",
      "Epoch  1142\n",
      "Epoch  1143\n",
      "Epoch  1144\n",
      "Epoch  1145\n",
      "Epoch  1146\n",
      "Epoch  1147\n",
      "Epoch  1148\n",
      "Epoch  1149\n",
      "Epoch  1150\n",
      "Epoch  1151\n",
      "Epoch  1152\n",
      "Epoch  1153\n",
      "Epoch  1154\n",
      "Epoch  1155\n",
      "Epoch  1156\n",
      "Epoch  1157\n",
      "Epoch  1158\n",
      "Epoch  1159\n",
      "Epoch  1160\n",
      "Epoch  1161\n",
      "Epoch  1162\n",
      "Epoch  1163\n",
      "Epoch  1164\n",
      "Epoch  1165\n",
      "Epoch  1166\n",
      "Epoch  1167\n",
      "Epoch  1168\n",
      "Epoch  1169\n",
      "Epoch  1170\n",
      "Epoch  1171\n",
      "Epoch  1172\n",
      "Epoch  1173\n",
      "Epoch  1174\n",
      "Epoch  1175\n",
      "Epoch  1176\n",
      "Epoch  1177\n",
      "Epoch  1178\n",
      "Epoch  1179\n",
      "Epoch  1180\n",
      "Epoch  1181\n",
      "Epoch  1182\n",
      "Epoch  1183\n",
      "Epoch  1184\n",
      "Epoch  1185\n",
      "Epoch  1186\n",
      "Epoch  1187\n",
      "Epoch  1188\n",
      "Epoch  1189\n",
      "Epoch  1190\n",
      "Epoch  1191\n",
      "Epoch  1192\n",
      "Epoch  1193\n",
      "Epoch  1194\n",
      "Epoch  1195\n",
      "Epoch  1196\n",
      "Epoch  1197\n",
      "Epoch  1198\n",
      "Epoch  1199\n",
      "Epoch  1200\n",
      "Epoch  1201\n",
      "Epoch  1202\n",
      "Epoch  1203\n",
      "Epoch  1204\n",
      "Epoch  1205\n",
      "Epoch  1206\n",
      "Epoch  1207\n",
      "Epoch  1208\n",
      "Epoch  1209\n",
      "Epoch  1210\n",
      "Epoch  1211\n",
      "Epoch  1212\n",
      "Epoch  1213\n",
      "Epoch  1214\n",
      "Epoch  1215\n",
      "Epoch  1216\n",
      "Epoch  1217\n",
      "Epoch  1218\n",
      "Epoch  1219\n",
      "Epoch  1220\n",
      "Epoch  1221\n",
      "Epoch  1222\n",
      "Epoch  1223\n",
      "Epoch  1224\n",
      "Epoch  1225\n",
      "Epoch  1226\n",
      "Epoch  1227\n",
      "Epoch  1228\n",
      "Epoch  1229\n",
      "Epoch  1230\n",
      "Epoch  1231\n",
      "Epoch  1232\n",
      "Epoch  1233\n",
      "Epoch  1234\n",
      "Epoch  1235\n",
      "Epoch  1236\n",
      "Epoch  1237\n",
      "Epoch  1238\n",
      "Epoch  1239\n",
      "Epoch  1240\n",
      "Epoch  1241\n",
      "Epoch  1242\n",
      "Epoch  1243\n",
      "Epoch  1244\n",
      "Epoch  1245\n",
      "Epoch  1246\n",
      "Epoch  1247\n",
      "Epoch  1248\n",
      "Epoch  1249\n",
      "Epoch  1250\n",
      "Epoch  1251\n",
      "Epoch  1252\n",
      "Epoch  1253\n",
      "Epoch  1254\n",
      "Epoch  1255\n",
      "Epoch  1256\n",
      "Epoch  1257\n",
      "Epoch  1258\n",
      "Epoch  1259\n",
      "Epoch  1260\n",
      "Epoch  1261\n",
      "Epoch  1262\n",
      "Epoch  1263\n",
      "Epoch  1264\n",
      "Epoch  1265\n",
      "Epoch  1266\n",
      "Epoch  1267\n",
      "Epoch  1268\n",
      "Epoch  1269\n",
      "Epoch  1270\n",
      "Epoch  1271\n",
      "Epoch  1272\n",
      "Epoch  1273\n",
      "Epoch  1274\n",
      "Epoch  1275\n",
      "Epoch  1276\n",
      "Epoch  1277\n",
      "Epoch  1278\n",
      "Epoch  1279\n",
      "Epoch  1280\n",
      "Epoch  1281\n",
      "Epoch  1282\n",
      "Epoch  1283\n",
      "Epoch  1284\n",
      "Epoch  1285\n",
      "Epoch  1286\n",
      "Epoch  1287\n",
      "Epoch  1288\n",
      "Epoch  1289\n",
      "Epoch  1290\n",
      "Epoch  1291\n",
      "Epoch  1292\n",
      "Epoch  1293\n",
      "Epoch  1294\n",
      "Epoch  1295\n",
      "Epoch  1296\n",
      "Epoch  1297\n",
      "Epoch  1298\n",
      "Epoch  1299\n",
      "Epoch  1300\n",
      "Epoch  1301\n",
      "Epoch  1302\n",
      "Epoch  1303\n",
      "Epoch  1304\n",
      "Epoch  1305\n",
      "Epoch  1306\n",
      "Epoch  1307\n",
      "Epoch  1308\n",
      "Epoch  1309\n",
      "Epoch  1310\n",
      "Epoch  1311\n",
      "Epoch  1312\n",
      "Epoch  1313\n",
      "Epoch  1314\n",
      "Epoch  1315\n",
      "Epoch  1316\n",
      "Epoch  1317\n",
      "Epoch  1318\n",
      "Epoch  1319\n",
      "Epoch  1320\n",
      "Epoch  1321\n",
      "Epoch  1322\n",
      "Epoch  1323\n",
      "Epoch  1324\n",
      "Epoch  1325\n",
      "Epoch  1326\n",
      "Epoch  1327\n",
      "Epoch  1328\n",
      "Epoch  1329\n",
      "Epoch  1330\n",
      "Epoch  1331\n",
      "Epoch  1332\n",
      "Epoch  1333\n",
      "Epoch  1334\n",
      "Epoch  1335\n",
      "Epoch  1336\n",
      "Epoch  1337\n",
      "Epoch  1338\n",
      "Epoch  1339\n",
      "Epoch  1340\n",
      "Epoch  1341\n",
      "Epoch  1342\n",
      "Epoch  1343\n",
      "Epoch  1344\n",
      "Epoch  1345\n",
      "Epoch  1346\n",
      "Epoch  1347\n",
      "Epoch  1348\n",
      "Epoch  1349\n",
      "Epoch  1350\n",
      "Epoch  1351\n",
      "Epoch  1352\n",
      "Epoch  1353\n",
      "Epoch  1354\n",
      "Epoch  1355\n",
      "Epoch  1356\n",
      "Epoch  1357\n",
      "Epoch  1358\n",
      "Epoch  1359\n",
      "Epoch  1360\n",
      "Epoch  1361\n",
      "Epoch  1362\n",
      "Epoch  1363\n",
      "Epoch  1364\n",
      "Epoch  1365\n",
      "Epoch  1366\n",
      "Epoch  1367\n",
      "Epoch  1368\n",
      "Epoch  1369\n",
      "Epoch  1370\n",
      "Epoch  1371\n",
      "Epoch  1372\n",
      "Epoch  1373\n",
      "Epoch  1374\n",
      "Epoch  1375\n",
      "Epoch  1376\n",
      "Epoch  1377\n",
      "Epoch  1378\n",
      "Epoch  1379\n",
      "Epoch  1380\n",
      "Epoch  1381\n",
      "Epoch  1382\n",
      "Epoch  1383\n",
      "Epoch  1384\n",
      "Epoch  1385\n",
      "Epoch  1386\n",
      "Epoch  1387\n",
      "Epoch  1388\n",
      "Epoch  1389\n",
      "Epoch  1390\n",
      "Epoch  1391\n",
      "Epoch  1392\n",
      "Epoch  1393\n",
      "Epoch  1394\n",
      "Epoch  1395\n",
      "Epoch  1396\n",
      "Epoch  1397\n",
      "Epoch  1398\n",
      "Epoch  1399\n",
      "Epoch  1400\n",
      "Epoch  1401\n",
      "Epoch  1402\n",
      "Epoch  1403\n",
      "Epoch  1404\n",
      "Epoch  1405\n",
      "Epoch  1406\n",
      "Epoch  1407\n",
      "Epoch  1408\n",
      "Epoch  1409\n",
      "Epoch  1410\n",
      "Epoch  1411\n",
      "Epoch  1412\n",
      "Epoch  1413\n",
      "Epoch  1414\n",
      "Epoch  1415\n",
      "Epoch  1416\n",
      "Epoch  1417\n",
      "Epoch  1418\n",
      "Epoch  1419\n",
      "Epoch  1420\n",
      "Epoch  1421\n",
      "Epoch  1422\n",
      "Epoch  1423\n",
      "Epoch  1424\n",
      "Epoch  1425\n",
      "Epoch  1426\n",
      "Epoch  1427\n",
      "Epoch  1428\n",
      "Epoch  1429\n",
      "Epoch  1430\n",
      "Epoch  1431\n",
      "Epoch  1432\n",
      "Epoch  1433\n",
      "Epoch  1434\n",
      "Epoch  1435\n",
      "Epoch  1436\n",
      "Epoch  1437\n",
      "Epoch  1438\n",
      "Epoch  1439\n",
      "Epoch  1440\n",
      "Epoch  1441\n",
      "Epoch  1442\n",
      "Epoch  1443\n",
      "Epoch  1444\n",
      "Epoch  1445\n",
      "Epoch  1446\n",
      "Epoch  1447\n",
      "Epoch  1448\n",
      "Epoch  1449\n",
      "Epoch  1450\n",
      "Epoch  1451\n",
      "Epoch  1452\n",
      "Epoch  1453\n",
      "Epoch  1454\n",
      "Epoch  1455\n",
      "Epoch  1456\n",
      "Epoch  1457\n",
      "Epoch  1458\n",
      "Epoch  1459\n",
      "Epoch  1460\n",
      "Epoch  1461\n",
      "Epoch  1462\n",
      "Epoch  1463\n",
      "Epoch  1464\n",
      "Epoch  1465\n",
      "Epoch  1466\n",
      "Epoch  1467\n",
      "Epoch  1468\n",
      "Epoch  1469\n",
      "Epoch  1470\n",
      "Epoch  1471\n",
      "Epoch  1472\n",
      "Epoch  1473\n",
      "Epoch  1474\n",
      "Epoch  1475\n",
      "Epoch  1476\n",
      "Epoch  1477\n",
      "Epoch  1478\n",
      "Epoch  1479\n",
      "Epoch  1480\n",
      "Epoch  1481\n",
      "Epoch  1482\n",
      "Epoch  1483\n",
      "Epoch  1484\n",
      "Epoch  1485\n",
      "Epoch  1486\n",
      "Epoch  1487\n",
      "Epoch  1488\n",
      "Epoch  1489\n",
      "Epoch  1490\n",
      "Epoch  1491\n",
      "Epoch  1492\n",
      "Epoch  1493\n",
      "Epoch  1494\n",
      "Epoch  1495\n",
      "Epoch  1496\n",
      "Epoch  1497\n",
      "Epoch  1498\n",
      "Epoch  1499\n",
      "Epoch  1500\n",
      "Epoch  1501\n",
      "Epoch  1502\n",
      "Epoch  1503\n",
      "Epoch  1504\n",
      "Epoch  1505\n",
      "Epoch  1506\n",
      "Epoch  1507\n",
      "Epoch  1508\n",
      "Epoch  1509\n",
      "Epoch  1510\n",
      "Epoch  1511\n",
      "Epoch  1512\n",
      "Epoch  1513\n",
      "Epoch  1514\n",
      "Epoch  1515\n",
      "Epoch  1516\n",
      "Epoch  1517\n",
      "Epoch  1518\n",
      "Epoch  1519\n",
      "Epoch  1520\n",
      "Epoch  1521\n",
      "Epoch  1522\n",
      "Epoch  1523\n",
      "Epoch  1524\n",
      "Epoch  1525\n",
      "Epoch  1526\n",
      "Epoch  1527\n",
      "Epoch  1528\n",
      "Epoch  1529\n",
      "Epoch  1530\n",
      "Epoch  1531\n",
      "Epoch  1532\n",
      "Epoch  1533\n",
      "Epoch  1534\n",
      "Epoch  1535\n",
      "Epoch  1536\n",
      "Epoch  1537\n",
      "Epoch  1538\n",
      "Epoch  1539\n",
      "Epoch  1540\n",
      "Epoch  1541\n",
      "Epoch  1542\n",
      "Epoch  1543\n",
      "Epoch  1544\n",
      "Epoch  1545\n",
      "Epoch  1546\n",
      "Epoch  1547\n",
      "Epoch  1548\n",
      "Epoch  1549\n",
      "Epoch  1550\n",
      "Epoch  1551\n",
      "Epoch  1552\n",
      "Epoch  1553\n",
      "Epoch  1554\n",
      "Epoch  1555\n",
      "Epoch  1556\n",
      "Epoch  1557\n",
      "Epoch  1558\n",
      "Epoch  1559\n",
      "Epoch  1560\n",
      "Epoch  1561\n",
      "Epoch  1562\n",
      "Epoch  1563\n",
      "Epoch  1564\n",
      "Epoch  1565\n",
      "Epoch  1566\n",
      "Epoch  1567\n",
      "Epoch  1568\n",
      "Epoch  1569\n",
      "Epoch  1570\n",
      "Epoch  1571\n",
      "Epoch  1572\n",
      "Epoch  1573\n",
      "Epoch  1574\n",
      "Epoch  1575\n",
      "Epoch  1576\n",
      "Epoch  1577\n",
      "Epoch  1578\n",
      "Epoch  1579\n",
      "Epoch  1580\n",
      "Epoch  1581\n",
      "Epoch  1582\n",
      "Epoch  1583\n",
      "Epoch  1584\n",
      "Epoch  1585\n",
      "Epoch  1586\n",
      "Epoch  1587\n",
      "Epoch  1588\n",
      "Epoch  1589\n",
      "Epoch  1590\n",
      "Epoch  1591\n",
      "Epoch  1592\n",
      "Epoch  1593\n",
      "Epoch  1594\n",
      "Epoch  1595\n",
      "Epoch  1596\n",
      "Epoch  1597\n",
      "Epoch  1598\n",
      "Epoch  1599\n",
      "Epoch  1600\n",
      "Epoch  1601\n",
      "Epoch  1602\n",
      "Epoch  1603\n",
      "Epoch  1604\n",
      "Epoch  1605\n",
      "Epoch  1606\n",
      "Epoch  1607\n",
      "Epoch  1608\n",
      "Epoch  1609\n",
      "Epoch  1610\n",
      "Epoch  1611\n",
      "Epoch  1612\n",
      "Epoch  1613\n",
      "Epoch  1614\n",
      "Epoch  1615\n",
      "Epoch  1616\n",
      "Epoch  1617\n",
      "Epoch  1618\n",
      "Epoch  1619\n",
      "Epoch  1620\n",
      "Epoch  1621\n",
      "Epoch  1622\n",
      "Epoch  1623\n",
      "Epoch  1624\n",
      "Epoch  1625\n",
      "Epoch  1626\n",
      "Epoch  1627\n",
      "Epoch  1628\n",
      "Epoch  1629\n",
      "Epoch  1630\n",
      "Epoch  1631\n",
      "Epoch  1632\n",
      "Epoch  1633\n",
      "Epoch  1634\n",
      "Epoch  1635\n",
      "Epoch  1636\n",
      "Epoch  1637\n",
      "Epoch  1638\n",
      "Epoch  1639\n",
      "Epoch  1640\n",
      "Epoch  1641\n",
      "Epoch  1642\n",
      "Epoch  1643\n",
      "Epoch  1644\n",
      "Epoch  1645\n",
      "Epoch  1646\n",
      "Epoch  1647\n",
      "Epoch  1648\n",
      "Epoch  1649\n",
      "Epoch  1650\n",
      "Epoch  1651\n",
      "Epoch  1652\n",
      "Epoch  1653\n",
      "Epoch  1654\n",
      "Epoch  1655\n",
      "Epoch  1656\n",
      "Epoch  1657\n",
      "Epoch  1658\n",
      "Epoch  1659\n",
      "Epoch  1660\n",
      "Epoch  1661\n",
      "Epoch  1662\n",
      "Epoch  1663\n",
      "Epoch  1664\n",
      "Epoch  1665\n",
      "Epoch  1666\n",
      "Epoch  1667\n",
      "Epoch  1668\n",
      "Epoch  1669\n",
      "Epoch  1670\n",
      "Epoch  1671\n",
      "Epoch  1672\n",
      "Epoch  1673\n",
      "Epoch  1674\n",
      "Epoch  1675\n",
      "Epoch  1676\n",
      "Epoch  1677\n",
      "Epoch  1678\n",
      "Epoch  1679\n",
      "Epoch  1680\n",
      "Epoch  1681\n",
      "Epoch  1682\n",
      "Epoch  1683\n",
      "Epoch  1684\n",
      "Epoch  1685\n",
      "Epoch  1686\n",
      "Epoch  1687\n",
      "Epoch  1688\n",
      "Epoch  1689\n",
      "Epoch  1690\n",
      "Epoch  1691\n",
      "Epoch  1692\n",
      "Epoch  1693\n",
      "Epoch  1694\n",
      "Epoch  1695\n",
      "Epoch  1696\n",
      "Epoch  1697\n",
      "Epoch  1698\n",
      "Epoch  1699\n",
      "Epoch  1700\n",
      "Epoch  1701\n",
      "Epoch  1702\n",
      "Epoch  1703\n",
      "Epoch  1704\n",
      "Epoch  1705\n",
      "Epoch  1706\n",
      "Epoch  1707\n",
      "Epoch  1708\n",
      "Epoch  1709\n",
      "Epoch  1710\n",
      "Epoch  1711\n",
      "Epoch  1712\n",
      "Epoch  1713\n",
      "Epoch  1714\n",
      "Epoch  1715\n",
      "Epoch  1716\n",
      "Epoch  1717\n",
      "Epoch  1718\n",
      "Epoch  1719\n",
      "Epoch  1720\n",
      "Epoch  1721\n",
      "Epoch  1722\n",
      "Epoch  1723\n",
      "Epoch  1724\n",
      "Epoch  1725\n",
      "Epoch  1726\n",
      "Epoch  1727\n",
      "Epoch  1728\n",
      "Epoch  1729\n",
      "Epoch  1730\n",
      "Epoch  1731\n",
      "Epoch  1732\n",
      "Epoch  1733\n",
      "Epoch  1734\n",
      "Epoch  1735\n",
      "Epoch  1736\n",
      "Epoch  1737\n",
      "Epoch  1738\n",
      "Epoch  1739\n",
      "Epoch  1740\n",
      "Epoch  1741\n",
      "Epoch  1742\n",
      "Epoch  1743\n",
      "Epoch  1744\n",
      "Epoch  1745\n",
      "Epoch  1746\n",
      "Epoch  1747\n",
      "Epoch  1748\n",
      "Epoch  1749\n",
      "Epoch  1750\n",
      "Epoch  1751\n",
      "Epoch  1752\n",
      "Epoch  1753\n",
      "Epoch  1754\n",
      "Epoch  1755\n",
      "Epoch  1756\n",
      "Epoch  1757\n",
      "Epoch  1758\n",
      "Epoch  1759\n",
      "Epoch  1760\n",
      "Epoch  1761\n",
      "Epoch  1762\n",
      "Epoch  1763\n",
      "Epoch  1764\n",
      "Epoch  1765\n",
      "Epoch  1766\n",
      "Epoch  1767\n",
      "Epoch  1768\n",
      "Epoch  1769\n",
      "Epoch  1770\n",
      "Epoch  1771\n",
      "Epoch  1772\n",
      "Epoch  1773\n",
      "Epoch  1774\n",
      "Epoch  1775\n",
      "Epoch  1776\n",
      "Epoch  1777\n",
      "Epoch  1778\n",
      "Epoch  1779\n",
      "Epoch  1780\n",
      "Epoch  1781\n",
      "Epoch  1782\n",
      "Epoch  1783\n",
      "Epoch  1784\n",
      "Epoch  1785\n",
      "Epoch  1786\n",
      "Epoch  1787\n",
      "Epoch  1788\n",
      "Epoch  1789\n",
      "Epoch  1790\n",
      "Epoch  1791\n",
      "Epoch  1792\n",
      "Epoch  1793\n",
      "Epoch  1794\n",
      "Epoch  1795\n",
      "Epoch  1796\n",
      "Epoch  1797\n",
      "Epoch  1798\n",
      "Epoch  1799\n",
      "Epoch  1800\n",
      "Epoch  1801\n",
      "Epoch  1802\n",
      "Epoch  1803\n",
      "Epoch  1804\n",
      "Epoch  1805\n",
      "Epoch  1806\n",
      "Epoch  1807\n",
      "Epoch  1808\n",
      "Epoch  1809\n",
      "Epoch  1810\n",
      "Epoch  1811\n",
      "Epoch  1812\n",
      "Epoch  1813\n",
      "Epoch  1814\n",
      "Epoch  1815\n",
      "Epoch  1816\n",
      "Epoch  1817\n",
      "Epoch  1818\n",
      "Epoch  1819\n",
      "Epoch  1820\n",
      "Epoch  1821\n",
      "Epoch  1822\n",
      "Epoch  1823\n",
      "Epoch  1824\n",
      "Epoch  1825\n",
      "Epoch  1826\n",
      "Epoch  1827\n",
      "Epoch  1828\n",
      "Epoch  1829\n",
      "Epoch  1830\n",
      "Epoch  1831\n",
      "Epoch  1832\n",
      "Epoch  1833\n",
      "Epoch  1834\n",
      "Epoch  1835\n",
      "Epoch  1836\n",
      "Epoch  1837\n",
      "Epoch  1838\n",
      "Epoch  1839\n",
      "Epoch  1840\n",
      "Epoch  1841\n",
      "Epoch  1842\n",
      "Epoch  1843\n",
      "Epoch  1844\n",
      "Epoch  1845\n",
      "Epoch  1846\n",
      "Epoch  1847\n",
      "Epoch  1848\n",
      "Epoch  1849\n",
      "Epoch  1850\n",
      "Epoch  1851\n",
      "Epoch  1852\n",
      "Epoch  1853\n",
      "Epoch  1854\n",
      "Epoch  1855\n",
      "Epoch  1856\n",
      "Epoch  1857\n",
      "Epoch  1858\n",
      "Epoch  1859\n",
      "Epoch  1860\n",
      "Epoch  1861\n",
      "Epoch  1862\n",
      "Epoch  1863\n",
      "Epoch  1864\n",
      "Epoch  1865\n",
      "Epoch  1866\n",
      "Epoch  1867\n",
      "Epoch  1868\n",
      "Epoch  1869\n",
      "Epoch  1870\n",
      "Epoch  1871\n",
      "Epoch  1872\n",
      "Epoch  1873\n",
      "Epoch  1874\n",
      "Epoch  1875\n",
      "Epoch  1876\n",
      "Epoch  1877\n",
      "Epoch  1878\n",
      "Epoch  1879\n",
      "Epoch  1880\n",
      "Epoch  1881\n",
      "Epoch  1882\n",
      "Epoch  1883\n",
      "Epoch  1884\n",
      "Epoch  1885\n",
      "Epoch  1886\n",
      "Epoch  1887\n",
      "Epoch  1888\n",
      "Epoch  1889\n",
      "Epoch  1890\n",
      "Epoch  1891\n",
      "Epoch  1892\n",
      "Epoch  1893\n",
      "Epoch  1894\n",
      "Epoch  1895\n",
      "Epoch  1896\n",
      "Epoch  1897\n",
      "Epoch  1898\n",
      "Epoch  1899\n",
      "Epoch  1900\n",
      "Epoch  1901\n",
      "Epoch  1902\n",
      "Epoch  1903\n",
      "Epoch  1904\n",
      "Epoch  1905\n",
      "Epoch  1906\n",
      "Epoch  1907\n",
      "Epoch  1908\n",
      "Epoch  1909\n",
      "Epoch  1910\n",
      "Epoch  1911\n",
      "Epoch  1912\n",
      "Epoch  1913\n",
      "Epoch  1914\n",
      "Epoch  1915\n",
      "Epoch  1916\n",
      "Epoch  1917\n",
      "Epoch  1918\n",
      "Epoch  1919\n",
      "Epoch  1920\n",
      "Epoch  1921\n",
      "Epoch  1922\n",
      "Epoch  1923\n",
      "Epoch  1924\n",
      "Epoch  1925\n",
      "Epoch  1926\n",
      "Epoch  1927\n",
      "Epoch  1928\n",
      "Epoch  1929\n",
      "Epoch  1930\n",
      "Epoch  1931\n",
      "Epoch  1932\n",
      "Epoch  1933\n",
      "Epoch  1934\n",
      "Epoch  1935\n",
      "Epoch  1936\n",
      "Epoch  1937\n",
      "Epoch  1938\n",
      "Epoch  1939\n",
      "Epoch  1940\n",
      "Epoch  1941\n",
      "Epoch  1942\n",
      "Epoch  1943\n",
      "Epoch  1944\n",
      "Epoch  1945\n",
      "Epoch  1946\n",
      "Epoch  1947\n",
      "Epoch  1948\n",
      "Epoch  1949\n",
      "Epoch  1950\n",
      "Epoch  1951\n",
      "Epoch  1952\n",
      "Epoch  1953\n",
      "Epoch  1954\n",
      "Epoch  1955\n",
      "Epoch  1956\n",
      "Epoch  1957\n",
      "Epoch  1958\n",
      "Epoch  1959\n",
      "Epoch  1960\n",
      "Epoch  1961\n",
      "Epoch  1962\n",
      "Epoch  1963\n",
      "Epoch  1964\n",
      "Epoch  1965\n",
      "Epoch  1966\n",
      "Epoch  1967\n",
      "Epoch  1968\n",
      "Epoch  1969\n",
      "Epoch  1970\n",
      "Epoch  1971\n",
      "Epoch  1972\n",
      "Epoch  1973\n",
      "Epoch  1974\n",
      "Epoch  1975\n",
      "Epoch  1976\n",
      "Epoch  1977\n",
      "Epoch  1978\n",
      "Epoch  1979\n",
      "Epoch  1980\n",
      "Epoch  1981\n",
      "Epoch  1982\n",
      "Epoch  1983\n",
      "Epoch  1984\n",
      "Epoch  1985\n",
      "Epoch  1986\n",
      "Epoch  1987\n",
      "Epoch  1988\n",
      "Epoch  1989\n",
      "Epoch  1990\n",
      "Epoch  1991\n",
      "Epoch  1992\n",
      "Epoch  1993\n",
      "Epoch  1994\n",
      "Epoch  1995\n",
      "Epoch  1996\n",
      "Epoch  1997\n",
      "Epoch  1998\n",
      "Epoch  1999\n",
      "Epoch  2000\n",
      "Epoch  2001\n",
      "Epoch  2002\n",
      "Epoch  2003\n",
      "Epoch  2004\n",
      "Epoch  2005\n",
      "Epoch  2006\n",
      "Epoch  2007\n",
      "Epoch  2008\n",
      "Epoch  2009\n",
      "Epoch  2010\n",
      "Epoch  2011\n",
      "Epoch  2012\n",
      "Epoch  2013\n",
      "Epoch  2014\n",
      "Epoch  2015\n",
      "Epoch  2016\n",
      "Epoch  2017\n",
      "Epoch  2018\n",
      "Epoch  2019\n",
      "Epoch  2020\n",
      "Epoch  2021\n",
      "Epoch  2022\n",
      "Epoch  2023\n",
      "Epoch  2024\n",
      "Epoch  2025\n",
      "Epoch  2026\n",
      "Epoch  2027\n",
      "Epoch  2028\n",
      "Epoch  2029\n",
      "Epoch  2030\n",
      "Epoch  2031\n",
      "Epoch  2032\n",
      "Epoch  2033\n",
      "Epoch  2034\n",
      "Epoch  2035\n",
      "Epoch  2036\n",
      "Epoch  2037\n",
      "Epoch  2038\n",
      "Epoch  2039\n",
      "Epoch  2040\n",
      "Epoch  2041\n",
      "Epoch  2042\n",
      "Epoch  2043\n",
      "Epoch  2044\n",
      "Epoch  2045\n",
      "Epoch  2046\n",
      "Epoch  2047\n",
      "Epoch  2048\n",
      "Epoch  2049\n",
      "Epoch  2050\n",
      "Epoch  2051\n",
      "Epoch  2052\n",
      "Epoch  2053\n",
      "Epoch  2054\n",
      "Epoch  2055\n",
      "Epoch  2056\n",
      "Epoch  2057\n",
      "Epoch  2058\n",
      "Epoch  2059\n",
      "Epoch  2060\n",
      "Epoch  2061\n",
      "Epoch  2062\n",
      "Epoch  2063\n",
      "Epoch  2064\n",
      "Epoch  2065\n",
      "Epoch  2066\n",
      "Epoch  2067\n",
      "Epoch  2068\n",
      "Epoch  2069\n",
      "Epoch  2070\n",
      "Epoch  2071\n",
      "Epoch  2072\n",
      "Epoch  2073\n",
      "Epoch  2074\n",
      "Epoch  2075\n",
      "Epoch  2076\n",
      "Epoch  2077\n",
      "Epoch  2078\n",
      "Epoch  2079\n",
      "Epoch  2080\n",
      "Epoch  2081\n",
      "Epoch  2082\n",
      "Epoch  2083\n",
      "Epoch  2084\n",
      "Epoch  2085\n",
      "Epoch  2086\n",
      "Epoch  2087\n",
      "Epoch  2088\n",
      "Epoch  2089\n",
      "Epoch  2090\n",
      "Epoch  2091\n",
      "Epoch  2092\n",
      "Epoch  2093\n",
      "Epoch  2094\n",
      "Epoch  2095\n",
      "Epoch  2096\n",
      "Epoch  2097\n",
      "Epoch  2098\n",
      "Epoch  2099\n",
      "Epoch  2100\n",
      "Epoch  2101\n",
      "Epoch  2102\n",
      "Epoch  2103\n",
      "Epoch  2104\n",
      "Epoch  2105\n",
      "Epoch  2106\n",
      "Epoch  2107\n",
      "Epoch  2108\n",
      "Epoch  2109\n",
      "Epoch  2110\n",
      "Epoch  2111\n",
      "Epoch  2112\n",
      "Epoch  2113\n",
      "Epoch  2114\n",
      "Epoch  2115\n",
      "Epoch  2116\n",
      "Epoch  2117\n",
      "Epoch  2118\n",
      "Epoch  2119\n",
      "Epoch  2120\n",
      "Epoch  2121\n",
      "Epoch  2122\n",
      "Epoch  2123\n",
      "Epoch  2124\n",
      "Epoch  2125\n",
      "Epoch  2126\n",
      "Epoch  2127\n",
      "Epoch  2128\n",
      "Epoch  2129\n",
      "Epoch  2130\n",
      "Epoch  2131\n",
      "Epoch  2132\n",
      "Epoch  2133\n",
      "Epoch  2134\n",
      "Epoch  2135\n",
      "Epoch  2136\n",
      "Epoch  2137\n",
      "Epoch  2138\n",
      "Epoch  2139\n",
      "Epoch  2140\n",
      "Epoch  2141\n",
      "Epoch  2142\n",
      "Epoch  2143\n",
      "Epoch  2144\n",
      "Epoch  2145\n",
      "Epoch  2146\n",
      "Epoch  2147\n",
      "Epoch  2148\n",
      "Epoch  2149\n",
      "Epoch  2150\n",
      "Epoch  2151\n",
      "Epoch  2152\n",
      "Epoch  2153\n",
      "Epoch  2154\n",
      "Epoch  2155\n",
      "Epoch  2156\n",
      "Epoch  2157\n",
      "Epoch  2158\n",
      "Epoch  2159\n",
      "Epoch  2160\n",
      "Epoch  2161\n",
      "Epoch  2162\n",
      "Epoch  2163\n",
      "Epoch  2164\n",
      "Epoch  2165\n",
      "Epoch  2166\n",
      "Epoch  2167\n",
      "Epoch  2168\n",
      "Epoch  2169\n",
      "Epoch  2170\n",
      "Epoch  2171\n",
      "Epoch  2172\n",
      "Epoch  2173\n",
      "Epoch  2174\n",
      "Epoch  2175\n",
      "Epoch  2176\n",
      "Epoch  2177\n",
      "Epoch  2178\n",
      "Epoch  2179\n",
      "Epoch  2180\n",
      "Epoch  2181\n",
      "Epoch  2182\n",
      "Epoch  2183\n",
      "Epoch  2184\n",
      "Epoch  2185\n",
      "Epoch  2186\n",
      "Epoch  2187\n",
      "Epoch  2188\n",
      "Epoch  2189\n",
      "Epoch  2190\n",
      "Epoch  2191\n",
      "Epoch  2192\n",
      "Epoch  2193\n",
      "Epoch  2194\n",
      "Epoch  2195\n",
      "Epoch  2196\n",
      "Epoch  2197\n",
      "Epoch  2198\n",
      "Epoch  2199\n",
      "Epoch  2200\n",
      "Epoch  2201\n",
      "Epoch  2202\n",
      "Epoch  2203\n",
      "Epoch  2204\n",
      "Epoch  2205\n",
      "Epoch  2206\n",
      "Epoch  2207\n",
      "Epoch  2208\n",
      "Epoch  2209\n",
      "Epoch  2210\n",
      "Epoch  2211\n",
      "Epoch  2212\n",
      "Epoch  2213\n",
      "Epoch  2214\n",
      "Epoch  2215\n",
      "Epoch  2216\n",
      "Epoch  2217\n",
      "Epoch  2218\n",
      "Epoch  2219\n",
      "Epoch  2220\n",
      "Epoch  2221\n",
      "Epoch  2222\n",
      "Epoch  2223\n",
      "Epoch  2224\n",
      "Epoch  2225\n",
      "Epoch  2226\n",
      "Epoch  2227\n",
      "Epoch  2228\n",
      "Epoch  2229\n",
      "Epoch  2230\n",
      "Epoch  2231\n",
      "Epoch  2232\n",
      "Epoch  2233\n",
      "Epoch  2234\n",
      "Epoch  2235\n",
      "Epoch  2236\n",
      "Epoch  2237\n",
      "Epoch  2238\n",
      "Epoch  2239\n",
      "Epoch  2240\n",
      "Epoch  2241\n",
      "Epoch  2242\n",
      "Epoch  2243\n",
      "Epoch  2244\n",
      "Epoch  2245\n",
      "Epoch  2246\n",
      "Epoch  2247\n",
      "Epoch  2248\n",
      "Epoch  2249\n",
      "Epoch  2250\n",
      "Epoch  2251\n",
      "Epoch  2252\n",
      "Epoch  2253\n",
      "Epoch  2254\n",
      "Epoch  2255\n",
      "Epoch  2256\n",
      "Epoch  2257\n",
      "Epoch  2258\n",
      "Epoch  2259\n",
      "Epoch  2260\n",
      "Epoch  2261\n",
      "Epoch  2262\n",
      "Epoch  2263\n",
      "Epoch  2264\n",
      "Epoch  2265\n",
      "Epoch  2266\n",
      "Epoch  2267\n",
      "Epoch  2268\n",
      "Epoch  2269\n",
      "Epoch  2270\n",
      "Epoch  2271\n",
      "Epoch  2272\n",
      "Epoch  2273\n",
      "Epoch  2274\n",
      "Epoch  2275\n",
      "Epoch  2276\n",
      "Epoch  2277\n",
      "Epoch  2278\n",
      "Epoch  2279\n",
      "Epoch  2280\n",
      "Epoch  2281\n",
      "Epoch  2282\n",
      "Epoch  2283\n",
      "Epoch  2284\n",
      "Epoch  2285\n",
      "Epoch  2286\n",
      "Epoch  2287\n",
      "Epoch  2288\n",
      "Epoch  2289\n",
      "Epoch  2290\n",
      "Epoch  2291\n",
      "Epoch  2292\n",
      "Epoch  2293\n",
      "Epoch  2294\n",
      "Epoch  2295\n",
      "Epoch  2296\n",
      "Epoch  2297\n",
      "Epoch  2298\n",
      "Epoch  2299\n",
      "Epoch  2300\n",
      "Epoch  2301\n",
      "Epoch  2302\n",
      "Epoch  2303\n",
      "Epoch  2304\n",
      "Epoch  2305\n",
      "Epoch  2306\n",
      "Epoch  2307\n",
      "Epoch  2308\n",
      "Epoch  2309\n",
      "Epoch  2310\n",
      "Epoch  2311\n",
      "Epoch  2312\n",
      "Epoch  2313\n",
      "Epoch  2314\n",
      "Epoch  2315\n",
      "Epoch  2316\n",
      "Epoch  2317\n",
      "Epoch  2318\n",
      "Epoch  2319\n",
      "Epoch  2320\n",
      "Epoch  2321\n",
      "Epoch  2322\n",
      "Epoch  2323\n",
      "Epoch  2324\n",
      "Epoch  2325\n",
      "Epoch  2326\n",
      "Epoch  2327\n",
      "Epoch  2328\n",
      "Epoch  2329\n",
      "Epoch  2330\n",
      "Epoch  2331\n",
      "Epoch  2332\n",
      "Epoch  2333\n",
      "Epoch  2334\n",
      "Epoch  2335\n",
      "Epoch  2336\n",
      "Epoch  2337\n",
      "Epoch  2338\n",
      "Epoch  2339\n",
      "Epoch  2340\n",
      "Epoch  2341\n",
      "Epoch  2342\n",
      "Epoch  2343\n",
      "Epoch  2344\n",
      "Epoch  2345\n",
      "Epoch  2346\n",
      "Epoch  2347\n",
      "Epoch  2348\n",
      "Epoch  2349\n",
      "Epoch  2350\n",
      "Epoch  2351\n",
      "Epoch  2352\n",
      "Epoch  2353\n",
      "Epoch  2354\n",
      "Epoch  2355\n",
      "Epoch  2356\n",
      "Epoch  2357\n",
      "Epoch  2358\n",
      "Epoch  2359\n",
      "Epoch  2360\n",
      "Epoch  2361\n",
      "Epoch  2362\n",
      "Epoch  2363\n",
      "Epoch  2364\n",
      "Epoch  2365\n",
      "Epoch  2366\n",
      "Epoch  2367\n",
      "Epoch  2368\n",
      "Epoch  2369\n",
      "Epoch  2370\n",
      "Epoch  2371\n",
      "Epoch  2372\n",
      "Epoch  2373\n",
      "Epoch  2374\n",
      "Epoch  2375\n",
      "Epoch  2376\n",
      "Epoch  2377\n",
      "Epoch  2378\n",
      "Epoch  2379\n",
      "Epoch  2380\n",
      "Epoch  2381\n",
      "Epoch  2382\n",
      "Epoch  2383\n",
      "Epoch  2384\n",
      "Epoch  2385\n",
      "Epoch  2386\n",
      "Epoch  2387\n",
      "Epoch  2388\n",
      "Epoch  2389\n",
      "Epoch  2390\n",
      "Epoch  2391\n",
      "Epoch  2392\n",
      "Epoch  2393\n",
      "Epoch  2394\n",
      "Epoch  2395\n",
      "Epoch  2396\n",
      "Epoch  2397\n",
      "Epoch  2398\n",
      "Epoch  2399\n",
      "Epoch  2400\n",
      "Epoch  2401\n",
      "Epoch  2402\n",
      "Epoch  2403\n",
      "Epoch  2404\n",
      "Epoch  2405\n",
      "Epoch  2406\n",
      "Epoch  2407\n",
      "Epoch  2408\n",
      "Epoch  2409\n",
      "Epoch  2410\n",
      "Epoch  2411\n",
      "Epoch  2412\n",
      "Epoch  2413\n",
      "Epoch  2414\n",
      "Epoch  2415\n",
      "Epoch  2416\n",
      "Epoch  2417\n",
      "Epoch  2418\n",
      "Epoch  2419\n",
      "Epoch  2420\n",
      "Epoch  2421\n",
      "Epoch  2422\n",
      "Epoch  2423\n",
      "Epoch  2424\n",
      "Epoch  2425\n",
      "Epoch  2426\n",
      "Epoch  2427\n",
      "Epoch  2428\n",
      "Epoch  2429\n",
      "Epoch  2430\n",
      "Epoch  2431\n",
      "Epoch  2432\n",
      "Epoch  2433\n",
      "Epoch  2434\n",
      "Epoch  2435\n",
      "Epoch  2436\n",
      "Epoch  2437\n",
      "Epoch  2438\n",
      "Epoch  2439\n",
      "Epoch  2440\n",
      "Epoch  2441\n",
      "Epoch  2442\n",
      "Epoch  2443\n",
      "Epoch  2444\n",
      "Epoch  2445\n",
      "Epoch  2446\n",
      "Epoch  2447\n",
      "Epoch  2448\n",
      "Epoch  2449\n",
      "Epoch  2450\n",
      "Epoch  2451\n",
      "Epoch  2452\n",
      "Epoch  2453\n",
      "Epoch  2454\n",
      "Epoch  2455\n",
      "Epoch  2456\n",
      "Epoch  2457\n",
      "Epoch  2458\n",
      "Epoch  2459\n",
      "Epoch  2460\n",
      "Epoch  2461\n",
      "Epoch  2462\n",
      "Epoch  2463\n",
      "Epoch  2464\n",
      "Epoch  2465\n",
      "Epoch  2466\n",
      "Epoch  2467\n",
      "Epoch  2468\n",
      "Epoch  2469\n",
      "Epoch  2470\n",
      "Epoch  2471\n",
      "Epoch  2472\n",
      "Epoch  2473\n",
      "Epoch  2474\n",
      "Epoch  2475\n",
      "Epoch  2476\n",
      "Epoch  2477\n",
      "Epoch  2478\n",
      "Epoch  2479\n",
      "Epoch  2480\n",
      "Epoch  2481\n",
      "Epoch  2482\n",
      "Epoch  2483\n",
      "Epoch  2484\n",
      "Epoch  2485\n",
      "Epoch  2486\n",
      "Epoch  2487\n",
      "Epoch  2488\n",
      "Epoch  2489\n",
      "Epoch  2490\n",
      "Epoch  2491\n",
      "Epoch  2492\n",
      "Epoch  2493\n",
      "Epoch  2494\n",
      "Epoch  2495\n",
      "Epoch  2496\n",
      "Epoch  2497\n",
      "Epoch  2498\n",
      "Epoch  2499\n",
      "Epoch  2500\n",
      "Epoch  2501\n",
      "Epoch  2502\n",
      "Epoch  2503\n",
      "Epoch  2504\n",
      "Epoch  2505\n",
      "Epoch  2506\n",
      "Epoch  2507\n",
      "Epoch  2508\n",
      "Epoch  2509\n",
      "Epoch  2510\n",
      "Epoch  2511\n",
      "Epoch  2512\n",
      "Epoch  2513\n",
      "Epoch  2514\n",
      "Epoch  2515\n",
      "Epoch  2516\n",
      "Epoch  2517\n",
      "Epoch  2518\n",
      "Epoch  2519\n",
      "Epoch  2520\n",
      "Epoch  2521\n",
      "Epoch  2522\n",
      "Epoch  2523\n",
      "Epoch  2524\n",
      "Epoch  2525\n",
      "Epoch  2526\n",
      "Epoch  2527\n",
      "Epoch  2528\n",
      "Epoch  2529\n",
      "Epoch  2530\n",
      "Epoch  2531\n",
      "Epoch  2532\n",
      "Epoch  2533\n",
      "Epoch  2534\n",
      "Epoch  2535\n",
      "Epoch  2536\n",
      "Epoch  2537\n",
      "Epoch  2538\n",
      "Epoch  2539\n",
      "Epoch  2540\n",
      "Epoch  2541\n",
      "Epoch  2542\n",
      "Epoch  2543\n",
      "Epoch  2544\n",
      "Epoch  2545\n",
      "Epoch  2546\n",
      "Epoch  2547\n",
      "Epoch  2548\n",
      "Epoch  2549\n",
      "Epoch  2550\n",
      "Epoch  2551\n",
      "Epoch  2552\n",
      "Epoch  2553\n",
      "Epoch  2554\n",
      "Epoch  2555\n",
      "Epoch  2556\n",
      "Epoch  2557\n",
      "Epoch  2558\n",
      "Epoch  2559\n",
      "Epoch  2560\n",
      "Epoch  2561\n",
      "Epoch  2562\n",
      "Epoch  2563\n",
      "Epoch  2564\n",
      "Epoch  2565\n",
      "Epoch  2566\n",
      "Epoch  2567\n",
      "Epoch  2568\n",
      "Epoch  2569\n",
      "Epoch  2570\n",
      "Epoch  2571\n",
      "Epoch  2572\n",
      "Epoch  2573\n",
      "Epoch  2574\n",
      "Epoch  2575\n",
      "Epoch  2576\n",
      "Epoch  2577\n",
      "Epoch  2578\n",
      "Epoch  2579\n",
      "Epoch  2580\n",
      "Epoch  2581\n",
      "Epoch  2582\n",
      "Epoch  2583\n",
      "Epoch  2584\n",
      "Epoch  2585\n",
      "Epoch  2586\n",
      "Epoch  2587\n",
      "Epoch  2588\n",
      "Epoch  2589\n",
      "Epoch  2590\n",
      "Epoch  2591\n",
      "Epoch  2592\n",
      "Epoch  2593\n",
      "Epoch  2594\n",
      "Epoch  2595\n",
      "Epoch  2596\n",
      "Epoch  2597\n",
      "Epoch  2598\n",
      "Epoch  2599\n",
      "Epoch  2600\n",
      "Epoch  2601\n",
      "Epoch  2602\n",
      "Epoch  2603\n",
      "Epoch  2604\n",
      "Epoch  2605\n",
      "Epoch  2606\n",
      "Epoch  2607\n",
      "Epoch  2608\n",
      "Epoch  2609\n",
      "Epoch  2610\n",
      "Epoch  2611\n",
      "Epoch  2612\n",
      "Epoch  2613\n",
      "Epoch  2614\n",
      "Epoch  2615\n",
      "Epoch  2616\n",
      "Epoch  2617\n",
      "Epoch  2618\n",
      "Epoch  2619\n",
      "Epoch  2620\n",
      "Epoch  2621\n",
      "Epoch  2622\n",
      "Epoch  2623\n",
      "Epoch  2624\n",
      "Epoch  2625\n",
      "Epoch  2626\n",
      "Epoch  2627\n",
      "Epoch  2628\n",
      "Epoch  2629\n",
      "Epoch  2630\n",
      "Epoch  2631\n",
      "Epoch  2632\n",
      "Epoch  2633\n",
      "Epoch  2634\n",
      "Epoch  2635\n",
      "Epoch  2636\n",
      "Epoch  2637\n",
      "Epoch  2638\n",
      "Epoch  2639\n",
      "Epoch  2640\n",
      "Epoch  2641\n",
      "Epoch  2642\n",
      "Epoch  2643\n",
      "Epoch  2644\n",
      "Epoch  2645\n",
      "Epoch  2646\n",
      "Epoch  2647\n",
      "Epoch  2648\n",
      "Epoch  2649\n",
      "Epoch  2650\n",
      "Epoch  2651\n",
      "Epoch  2652\n",
      "Epoch  2653\n",
      "Epoch  2654\n",
      "Epoch  2655\n",
      "Epoch  2656\n",
      "Epoch  2657\n",
      "Epoch  2658\n",
      "Epoch  2659\n",
      "Epoch  2660\n",
      "Epoch  2661\n",
      "Epoch  2662\n",
      "Epoch  2663\n",
      "Epoch  2664\n",
      "Epoch  2665\n",
      "Epoch  2666\n",
      "Epoch  2667\n",
      "Epoch  2668\n",
      "Epoch  2669\n",
      "Epoch  2670\n",
      "Epoch  2671\n",
      "Epoch  2672\n",
      "Epoch  2673\n",
      "Epoch  2674\n",
      "Epoch  2675\n",
      "Epoch  2676\n",
      "Epoch  2677\n",
      "Epoch  2678\n",
      "Epoch  2679\n",
      "Epoch  2680\n",
      "Epoch  2681\n",
      "Epoch  2682\n",
      "Epoch  2683\n",
      "Epoch  2684\n",
      "Epoch  2685\n",
      "Epoch  2686\n",
      "Epoch  2687\n",
      "Epoch  2688\n",
      "Epoch  2689\n",
      "Epoch  2690\n",
      "Epoch  2691\n",
      "Epoch  2692\n",
      "Epoch  2693\n",
      "Epoch  2694\n",
      "Epoch  2695\n",
      "Epoch  2696\n",
      "Epoch  2697\n",
      "Epoch  2698\n",
      "Epoch  2699\n",
      "Epoch  2700\n",
      "Epoch  2701\n",
      "Epoch  2702\n",
      "Epoch  2703\n",
      "Epoch  2704\n",
      "Epoch  2705\n",
      "Epoch  2706\n",
      "Epoch  2707\n",
      "Epoch  2708\n",
      "Epoch  2709\n",
      "Epoch  2710\n",
      "Epoch  2711\n",
      "Epoch  2712\n",
      "Epoch  2713\n",
      "Epoch  2714\n",
      "Epoch  2715\n",
      "Epoch  2716\n",
      "Epoch  2717\n",
      "Epoch  2718\n",
      "Epoch  2719\n",
      "Epoch  2720\n",
      "Epoch  2721\n",
      "Epoch  2722\n",
      "Epoch  2723\n",
      "Epoch  2724\n",
      "Epoch  2725\n",
      "Epoch  2726\n",
      "Epoch  2727\n",
      "Epoch  2728\n",
      "Epoch  2729\n",
      "Epoch  2730\n",
      "Epoch  2731\n",
      "Epoch  2732\n",
      "Epoch  2733\n",
      "Epoch  2734\n",
      "Epoch  2735\n",
      "Epoch  2736\n",
      "Epoch  2737\n",
      "Epoch  2738\n",
      "Epoch  2739\n",
      "Epoch  2740\n",
      "Epoch  2741\n",
      "Epoch  2742\n",
      "Epoch  2743\n",
      "Epoch  2744\n",
      "Epoch  2745\n",
      "Epoch  2746\n",
      "Epoch  2747\n",
      "Epoch  2748\n",
      "Epoch  2749\n",
      "Epoch  2750\n",
      "Epoch  2751\n",
      "Epoch  2752\n",
      "Epoch  2753\n",
      "Epoch  2754\n",
      "Epoch  2755\n",
      "Epoch  2756\n",
      "Epoch  2757\n",
      "Epoch  2758\n",
      "Epoch  2759\n",
      "Epoch  2760\n",
      "Epoch  2761\n",
      "Epoch  2762\n",
      "Epoch  2763\n",
      "Epoch  2764\n",
      "Epoch  2765\n",
      "Epoch  2766\n",
      "Epoch  2767\n",
      "Epoch  2768\n",
      "Epoch  2769\n",
      "Epoch  2770\n",
      "Epoch  2771\n",
      "Epoch  2772\n",
      "Epoch  2773\n",
      "Epoch  2774\n",
      "Epoch  2775\n",
      "Epoch  2776\n",
      "Epoch  2777\n",
      "Epoch  2778\n",
      "Epoch  2779\n",
      "Epoch  2780\n",
      "Epoch  2781\n",
      "Epoch  2782\n",
      "Epoch  2783\n",
      "Epoch  2784\n",
      "Epoch  2785\n",
      "Epoch  2786\n",
      "Epoch  2787\n",
      "Epoch  2788\n",
      "Epoch  2789\n",
      "Epoch  2790\n",
      "Epoch  2791\n",
      "Epoch  2792\n",
      "Epoch  2793\n",
      "Epoch  2794\n",
      "Epoch  2795\n",
      "Epoch  2796\n",
      "Epoch  2797\n",
      "Epoch  2798\n",
      "Epoch  2799\n",
      "Epoch  2800\n",
      "Epoch  2801\n",
      "Epoch  2802\n",
      "Epoch  2803\n",
      "Epoch  2804\n",
      "Epoch  2805\n",
      "Epoch  2806\n",
      "Epoch  2807\n",
      "Epoch  2808\n",
      "Epoch  2809\n",
      "Epoch  2810\n",
      "Epoch  2811\n",
      "Epoch  2812\n",
      "Epoch  2813\n",
      "Epoch  2814\n",
      "Epoch  2815\n",
      "Epoch  2816\n",
      "Epoch  2817\n",
      "Epoch  2818\n",
      "Epoch  2819\n",
      "Epoch  2820\n",
      "Epoch  2821\n",
      "Epoch  2822\n",
      "Epoch  2823\n",
      "Epoch  2824\n",
      "Epoch  2825\n",
      "Epoch  2826\n",
      "Epoch  2827\n",
      "Epoch  2828\n",
      "Epoch  2829\n",
      "Epoch  2830\n",
      "Epoch  2831\n",
      "Epoch  2832\n",
      "Epoch  2833\n",
      "Epoch  2834\n",
      "Epoch  2835\n",
      "Epoch  2836\n",
      "Epoch  2837\n",
      "Epoch  2838\n",
      "Epoch  2839\n",
      "Epoch  2840\n",
      "Epoch  2841\n",
      "Epoch  2842\n",
      "Epoch  2843\n",
      "Epoch  2844\n",
      "Epoch  2845\n",
      "Epoch  2846\n",
      "Epoch  2847\n",
      "Epoch  2848\n",
      "Epoch  2849\n",
      "Epoch  2850\n",
      "Epoch  2851\n",
      "Epoch  2852\n",
      "Epoch  2853\n",
      "Epoch  2854\n",
      "Epoch  2855\n",
      "Epoch  2856\n",
      "Epoch  2857\n",
      "Epoch  2858\n",
      "Epoch  2859\n",
      "Epoch  2860\n",
      "Epoch  2861\n",
      "Epoch  2862\n",
      "Epoch  2863\n",
      "Epoch  2864\n",
      "Epoch  2865\n",
      "Epoch  2866\n",
      "Epoch  2867\n",
      "Epoch  2868\n",
      "Epoch  2869\n",
      "Epoch  2870\n",
      "Epoch  2871\n",
      "Epoch  2872\n",
      "Epoch  2873\n",
      "Epoch  2874\n",
      "Epoch  2875\n",
      "Epoch  2876\n",
      "Epoch  2877\n",
      "Epoch  2878\n",
      "Epoch  2879\n",
      "Epoch  2880\n",
      "Epoch  2881\n",
      "Epoch  2882\n",
      "Epoch  2883\n",
      "Epoch  2884\n",
      "Epoch  2885\n",
      "Epoch  2886\n",
      "Epoch  2887\n",
      "Epoch  2888\n",
      "Epoch  2889\n",
      "Epoch  2890\n",
      "Epoch  2891\n",
      "Epoch  2892\n",
      "Epoch  2893\n",
      "Epoch  2894\n",
      "Epoch  2895\n",
      "Epoch  2896\n",
      "Epoch  2897\n",
      "Epoch  2898\n",
      "Epoch  2899\n",
      "Epoch  2900\n",
      "Epoch  2901\n",
      "Epoch  2902\n",
      "Epoch  2903\n",
      "Epoch  2904\n",
      "Epoch  2905\n",
      "Epoch  2906\n",
      "Epoch  2907\n",
      "Epoch  2908\n",
      "Epoch  2909\n",
      "Epoch  2910\n",
      "Epoch  2911\n",
      "Epoch  2912\n",
      "Epoch  2913\n",
      "Epoch  2914\n",
      "Epoch  2915\n",
      "Epoch  2916\n",
      "Epoch  2917\n",
      "Epoch  2918\n",
      "Epoch  2919\n",
      "Epoch  2920\n",
      "Epoch  2921\n",
      "Epoch  2922\n",
      "Epoch  2923\n",
      "Epoch  2924\n",
      "Epoch  2925\n",
      "Epoch  2926\n",
      "Epoch  2927\n",
      "Epoch  2928\n",
      "Epoch  2929\n",
      "Epoch  2930\n",
      "Epoch  2931\n",
      "Epoch  2932\n",
      "Epoch  2933\n",
      "Epoch  2934\n",
      "Epoch  2935\n",
      "Epoch  2936\n",
      "Epoch  2937\n",
      "Epoch  2938\n",
      "Epoch  2939\n",
      "Epoch  2940\n",
      "Epoch  2941\n",
      "Epoch  2942\n",
      "Epoch  2943\n",
      "Epoch  2944\n",
      "Epoch  2945\n",
      "Epoch  2946\n",
      "Epoch  2947\n",
      "Epoch  2948\n",
      "Epoch  2949\n",
      "Epoch  2950\n",
      "Epoch  2951\n",
      "Epoch  2952\n",
      "Epoch  2953\n",
      "Epoch  2954\n",
      "Epoch  2955\n",
      "Epoch  2956\n",
      "Epoch  2957\n",
      "Epoch  2958\n",
      "Epoch  2959\n",
      "Epoch  2960\n",
      "Epoch  2961\n",
      "Epoch  2962\n",
      "Epoch  2963\n",
      "Epoch  2964\n",
      "Epoch  2965\n",
      "Epoch  2966\n",
      "Epoch  2967\n",
      "Epoch  2968\n",
      "Epoch  2969\n",
      "Epoch  2970\n",
      "Epoch  2971\n",
      "Epoch  2972\n",
      "Epoch  2973\n",
      "Epoch  2974\n",
      "Epoch  2975\n",
      "Epoch  2976\n",
      "Epoch  2977\n",
      "Epoch  2978\n",
      "Epoch  2979\n",
      "Epoch  2980\n",
      "Epoch  2981\n",
      "Epoch  2982\n",
      "Epoch  2983\n",
      "Epoch  2984\n",
      "Epoch  2985\n",
      "Epoch  2986\n",
      "Epoch  2987\n",
      "Epoch  2988\n",
      "Epoch  2989\n",
      "Epoch  2990\n",
      "Epoch  2991\n",
      "Epoch  2992\n",
      "Epoch  2993\n",
      "Epoch  2994\n",
      "Epoch  2995\n",
      "Epoch  2996\n",
      "Epoch  2997\n",
      "Epoch  2998\n",
      "Epoch  2999\n",
      "Epoch  3000\n",
      "Epoch  3001\n",
      "Epoch  3002\n",
      "Epoch  3003\n",
      "Epoch  3004\n",
      "Epoch  3005\n",
      "Epoch  3006\n",
      "Epoch  3007\n",
      "Epoch  3008\n",
      "Epoch  3009\n",
      "Epoch  3010\n",
      "Epoch  3011\n",
      "Epoch  3012\n",
      "Epoch  3013\n",
      "Epoch  3014\n",
      "Epoch  3015\n",
      "Epoch  3016\n",
      "Epoch  3017\n",
      "Epoch  3018\n",
      "Epoch  3019\n",
      "Epoch  3020\n",
      "Epoch  3021\n",
      "Epoch  3022\n",
      "Epoch  3023\n",
      "Epoch  3024\n",
      "Epoch  3025\n",
      "Epoch  3026\n",
      "Epoch  3027\n",
      "Epoch  3028\n",
      "Epoch  3029\n",
      "Epoch  3030\n",
      "Epoch  3031\n",
      "Epoch  3032\n",
      "Epoch  3033\n",
      "Epoch  3034\n",
      "Epoch  3035\n",
      "Epoch  3036\n",
      "Epoch  3037\n",
      "Epoch  3038\n",
      "Epoch  3039\n",
      "Epoch  3040\n",
      "Epoch  3041\n",
      "Epoch  3042\n",
      "Epoch  3043\n",
      "Epoch  3044\n",
      "Epoch  3045\n",
      "Epoch  3046\n",
      "Epoch  3047\n",
      "Epoch  3048\n",
      "Epoch  3049\n",
      "Epoch  3050\n",
      "Epoch  3051\n",
      "Epoch  3052\n",
      "Epoch  3053\n",
      "Epoch  3054\n",
      "Epoch  3055\n",
      "Epoch  3056\n",
      "Epoch  3057\n",
      "Epoch  3058\n",
      "Epoch  3059\n",
      "Epoch  3060\n",
      "Epoch  3061\n",
      "Epoch  3062\n",
      "Epoch  3063\n",
      "Epoch  3064\n",
      "Epoch  3065\n",
      "Epoch  3066\n",
      "Epoch  3067\n",
      "Epoch  3068\n",
      "Epoch  3069\n",
      "Epoch  3070\n",
      "Epoch  3071\n",
      "Epoch  3072\n",
      "Epoch  3073\n",
      "Epoch  3074\n",
      "Epoch  3075\n",
      "Epoch  3076\n",
      "Epoch  3077\n",
      "Epoch  3078\n",
      "Epoch  3079\n",
      "Epoch  3080\n",
      "Epoch  3081\n",
      "Epoch  3082\n",
      "Epoch  3083\n",
      "Epoch  3084\n",
      "Epoch  3085\n",
      "Epoch  3086\n",
      "Epoch  3087\n",
      "Epoch  3088\n",
      "Epoch  3089\n",
      "Epoch  3090\n",
      "Epoch  3091\n",
      "Epoch  3092\n",
      "Epoch  3093\n",
      "Epoch  3094\n",
      "Epoch  3095\n",
      "Epoch  3096\n",
      "Epoch  3097\n",
      "Epoch  3098\n",
      "Epoch  3099\n",
      "Epoch  3100\n",
      "Epoch  3101\n",
      "Epoch  3102\n",
      "Epoch  3103\n",
      "Epoch  3104\n",
      "Epoch  3105\n",
      "Epoch  3106\n",
      "Epoch  3107\n",
      "Epoch  3108\n",
      "Epoch  3109\n",
      "Epoch  3110\n",
      "Epoch  3111\n",
      "Epoch  3112\n",
      "Epoch  3113\n",
      "Epoch  3114\n",
      "Epoch  3115\n",
      "Epoch  3116\n",
      "Epoch  3117\n",
      "Epoch  3118\n",
      "Epoch  3119\n",
      "Epoch  3120\n",
      "Epoch  3121\n",
      "Epoch  3122\n",
      "Epoch  3123\n",
      "Epoch  3124\n",
      "Epoch  3125\n",
      "Epoch  3126\n",
      "Epoch  3127\n",
      "Epoch  3128\n",
      "Epoch  3129\n",
      "Epoch  3130\n",
      "Epoch  3131\n",
      "Epoch  3132\n",
      "Epoch  3133\n",
      "Epoch  3134\n",
      "Epoch  3135\n",
      "Epoch  3136\n",
      "Epoch  3137\n",
      "Epoch  3138\n",
      "Epoch  3139\n",
      "Epoch  3140\n",
      "Epoch  3141\n",
      "Epoch  3142\n",
      "Epoch  3143\n",
      "Epoch  3144\n",
      "Epoch  3145\n",
      "Epoch  3146\n",
      "Epoch  3147\n",
      "Epoch  3148\n",
      "Epoch  3149\n",
      "Epoch  3150\n",
      "Epoch  3151\n",
      "Epoch  3152\n",
      "Epoch  3153\n",
      "Epoch  3154\n",
      "Epoch  3155\n",
      "Epoch  3156\n",
      "Epoch  3157\n",
      "Epoch  3158\n",
      "Epoch  3159\n",
      "Epoch  3160\n",
      "Epoch  3161\n",
      "Epoch  3162\n",
      "Epoch  3163\n",
      "Epoch  3164\n",
      "Epoch  3165\n",
      "Epoch  3166\n",
      "Epoch  3167\n",
      "Epoch  3168\n",
      "Epoch  3169\n",
      "Epoch  3170\n",
      "Epoch  3171\n",
      "Epoch  3172\n",
      "Epoch  3173\n",
      "Epoch  3174\n",
      "Epoch  3175\n",
      "Epoch  3176\n",
      "Epoch  3177\n",
      "Epoch  3178\n",
      "Epoch  3179\n",
      "Epoch  3180\n",
      "Epoch  3181\n",
      "Epoch  3182\n",
      "Epoch  3183\n",
      "Epoch  3184\n",
      "Epoch  3185\n",
      "Epoch  3186\n",
      "Epoch  3187\n",
      "Epoch  3188\n",
      "Epoch  3189\n",
      "Epoch  3190\n",
      "Epoch  3191\n",
      "Epoch  3192\n",
      "Epoch  3193\n",
      "Epoch  3194\n",
      "Epoch  3195\n",
      "Epoch  3196\n",
      "Epoch  3197\n",
      "Epoch  3198\n",
      "Epoch  3199\n",
      "Epoch  3200\n",
      "Epoch  3201\n",
      "Epoch  3202\n",
      "Epoch  3203\n",
      "Epoch  3204\n",
      "Epoch  3205\n",
      "Epoch  3206\n",
      "Epoch  3207\n",
      "Epoch  3208\n",
      "Epoch  3209\n",
      "Epoch  3210\n",
      "Epoch  3211\n",
      "Epoch  3212\n",
      "Epoch  3213\n",
      "Epoch  3214\n",
      "Epoch  3215\n",
      "Epoch  3216\n",
      "Epoch  3217\n",
      "Epoch  3218\n",
      "Epoch  3219\n",
      "Epoch  3220\n",
      "Epoch  3221\n",
      "Epoch  3222\n",
      "Epoch  3223\n",
      "Epoch  3224\n",
      "Epoch  3225\n",
      "Epoch  3226\n",
      "Epoch  3227\n",
      "Epoch  3228\n",
      "Epoch  3229\n",
      "Epoch  3230\n",
      "Epoch  3231\n",
      "Epoch  3232\n",
      "Epoch  3233\n",
      "Epoch  3234\n",
      "Epoch  3235\n",
      "Epoch  3236\n",
      "Epoch  3237\n",
      "Epoch  3238\n",
      "Epoch  3239\n",
      "Epoch  3240\n",
      "Epoch  3241\n",
      "Epoch  3242\n",
      "Epoch  3243\n",
      "Epoch  3244\n",
      "Epoch  3245\n",
      "Epoch  3246\n",
      "Epoch  3247\n",
      "Epoch  3248\n",
      "Epoch  3249\n",
      "Epoch  3250\n",
      "Epoch  3251\n",
      "Epoch  3252\n",
      "Epoch  3253\n",
      "Epoch  3254\n",
      "Epoch  3255\n",
      "Epoch  3256\n",
      "Epoch  3257\n",
      "Epoch  3258\n",
      "Epoch  3259\n",
      "Epoch  3260\n",
      "Epoch  3261\n",
      "Epoch  3262\n",
      "Epoch  3263\n",
      "Epoch  3264\n",
      "Epoch  3265\n",
      "Epoch  3266\n",
      "Epoch  3267\n",
      "Epoch  3268\n",
      "Epoch  3269\n",
      "Epoch  3270\n",
      "Epoch  3271\n",
      "Epoch  3272\n",
      "Epoch  3273\n",
      "Epoch  3274\n",
      "Epoch  3275\n",
      "Epoch  3276\n",
      "Epoch  3277\n",
      "Epoch  3278\n",
      "Epoch  3279\n",
      "Epoch  3280\n",
      "Epoch  3281\n",
      "Epoch  3282\n",
      "Epoch  3283\n",
      "Epoch  3284\n",
      "Epoch  3285\n",
      "Epoch  3286\n",
      "Epoch  3287\n",
      "Epoch  3288\n",
      "Epoch  3289\n",
      "Epoch  3290\n",
      "Epoch  3291\n",
      "Epoch  3292\n",
      "Epoch  3293\n",
      "Epoch  3294\n",
      "Epoch  3295\n",
      "Epoch  3296\n",
      "Epoch  3297\n",
      "Epoch  3298\n",
      "Epoch  3299\n",
      "Epoch  3300\n",
      "Epoch  3301\n",
      "Epoch  3302\n",
      "Epoch  3303\n",
      "Epoch  3304\n",
      "Epoch  3305\n",
      "Epoch  3306\n",
      "Epoch  3307\n",
      "Epoch  3308\n",
      "Epoch  3309\n",
      "Epoch  3310\n",
      "Epoch  3311\n",
      "Epoch  3312\n",
      "Epoch  3313\n",
      "Epoch  3314\n",
      "Epoch  3315\n",
      "Epoch  3316\n",
      "Epoch  3317\n",
      "Epoch  3318\n",
      "Epoch  3319\n",
      "Epoch  3320\n",
      "Epoch  3321\n",
      "Epoch  3322\n",
      "Epoch  3323\n",
      "Epoch  3324\n",
      "Epoch  3325\n",
      "Epoch  3326\n",
      "Epoch  3327\n",
      "Epoch  3328\n",
      "Epoch  3329\n",
      "Epoch  3330\n",
      "Epoch  3331\n",
      "Epoch  3332\n",
      "Epoch  3333\n",
      "Epoch  3334\n",
      "Epoch  3335\n",
      "Epoch  3336\n",
      "Epoch  3337\n",
      "Epoch  3338\n",
      "Epoch  3339\n",
      "Epoch  3340\n",
      "Epoch  3341\n",
      "Epoch  3342\n",
      "Epoch  3343\n",
      "Epoch  3344\n",
      "Epoch  3345\n",
      "Epoch  3346\n",
      "Epoch  3347\n",
      "Epoch  3348\n",
      "Epoch  3349\n",
      "Epoch  3350\n",
      "Epoch  3351\n",
      "Epoch  3352\n",
      "Epoch  3353\n",
      "Epoch  3354\n",
      "Epoch  3355\n",
      "Epoch  3356\n",
      "Epoch  3357\n",
      "Epoch  3358\n",
      "Epoch  3359\n",
      "Epoch  3360\n",
      "Epoch  3361\n",
      "Epoch  3362\n",
      "Epoch  3363\n",
      "Epoch  3364\n",
      "Epoch  3365\n",
      "Epoch  3366\n",
      "Epoch  3367\n",
      "Epoch  3368\n",
      "Epoch  3369\n",
      "Epoch  3370\n",
      "Epoch  3371\n",
      "Epoch  3372\n",
      "Epoch  3373\n",
      "Epoch  3374\n",
      "Epoch  3375\n",
      "Epoch  3376\n",
      "Epoch  3377\n",
      "Epoch  3378\n",
      "Epoch  3379\n",
      "Epoch  3380\n",
      "Epoch  3381\n",
      "Epoch  3382\n",
      "Epoch  3383\n",
      "Epoch  3384\n",
      "Epoch  3385\n",
      "Epoch  3386\n",
      "Epoch  3387\n",
      "Epoch  3388\n",
      "Epoch  3389\n",
      "Epoch  3390\n",
      "Epoch  3391\n",
      "Epoch  3392\n",
      "Epoch  3393\n",
      "Epoch  3394\n",
      "Epoch  3395\n",
      "Epoch  3396\n",
      "Epoch  3397\n",
      "Epoch  3398\n",
      "Epoch  3399\n",
      "Epoch  3400\n",
      "Epoch  3401\n",
      "Epoch  3402\n",
      "Epoch  3403\n",
      "Epoch  3404\n",
      "Epoch  3405\n",
      "Epoch  3406\n",
      "Epoch  3407\n",
      "Epoch  3408\n",
      "Epoch  3409\n",
      "Epoch  3410\n",
      "Epoch  3411\n",
      "Epoch  3412\n",
      "Epoch  3413\n",
      "Epoch  3414\n",
      "Epoch  3415\n",
      "Epoch  3416\n",
      "Epoch  3417\n",
      "Epoch  3418\n",
      "Epoch  3419\n",
      "Epoch  3420\n",
      "Epoch  3421\n",
      "Epoch  3422\n",
      "Epoch  3423\n",
      "Epoch  3424\n",
      "Epoch  3425\n",
      "Epoch  3426\n",
      "Epoch  3427\n",
      "Epoch  3428\n",
      "Epoch  3429\n",
      "Epoch  3430\n",
      "Epoch  3431\n",
      "Epoch  3432\n",
      "Epoch  3433\n",
      "Epoch  3434\n",
      "Epoch  3435\n",
      "Epoch  3436\n",
      "Epoch  3437\n",
      "Epoch  3438\n",
      "Epoch  3439\n",
      "Epoch  3440\n",
      "Epoch  3441\n",
      "Epoch  3442\n",
      "Epoch  3443\n",
      "Epoch  3444\n",
      "Epoch  3445\n",
      "Epoch  3446\n",
      "Epoch  3447\n",
      "Epoch  3448\n",
      "Epoch  3449\n",
      "Epoch  3450\n",
      "Epoch  3451\n",
      "Epoch  3452\n",
      "Epoch  3453\n",
      "Epoch  3454\n",
      "Epoch  3455\n",
      "Epoch  3456\n",
      "Epoch  3457\n",
      "Epoch  3458\n",
      "Epoch  3459\n",
      "Epoch  3460\n",
      "Epoch  3461\n",
      "Epoch  3462\n",
      "Epoch  3463\n",
      "Epoch  3464\n",
      "Epoch  3465\n",
      "Epoch  3466\n",
      "Epoch  3467\n",
      "Epoch  3468\n",
      "Epoch  3469\n",
      "Epoch  3470\n",
      "Epoch  3471\n",
      "Epoch  3472\n",
      "Epoch  3473\n",
      "Epoch  3474\n",
      "Epoch  3475\n",
      "Epoch  3476\n",
      "Epoch  3477\n",
      "Epoch  3478\n",
      "Epoch  3479\n",
      "Epoch  3480\n",
      "Epoch  3481\n",
      "Epoch  3482\n",
      "Epoch  3483\n",
      "Epoch  3484\n",
      "Epoch  3485\n",
      "Epoch  3486\n",
      "Epoch  3487\n",
      "Epoch  3488\n",
      "Epoch  3489\n",
      "Epoch  3490\n",
      "Epoch  3491\n",
      "Epoch  3492\n",
      "Epoch  3493\n",
      "Epoch  3494\n",
      "Epoch  3495\n",
      "Epoch  3496\n",
      "Epoch  3497\n",
      "Epoch  3498\n",
      "Epoch  3499\n",
      "Epoch  3500\n",
      "Epoch  3501\n",
      "Epoch  3502\n",
      "Epoch  3503\n",
      "Epoch  3504\n",
      "Epoch  3505\n",
      "Epoch  3506\n",
      "Epoch  3507\n",
      "Epoch  3508\n",
      "Epoch  3509\n",
      "Epoch  3510\n",
      "Epoch  3511\n",
      "Epoch  3512\n",
      "Epoch  3513\n",
      "Epoch  3514\n",
      "Epoch  3515\n",
      "Epoch  3516\n",
      "Epoch  3517\n",
      "Epoch  3518\n",
      "Epoch  3519\n",
      "Epoch  3520\n",
      "Epoch  3521\n",
      "Epoch  3522\n",
      "Epoch  3523\n",
      "Epoch  3524\n",
      "Epoch  3525\n",
      "Epoch  3526\n",
      "Epoch  3527\n",
      "Epoch  3528\n",
      "Epoch  3529\n",
      "Epoch  3530\n",
      "Epoch  3531\n",
      "Epoch  3532\n",
      "Epoch  3533\n",
      "Epoch  3534\n",
      "Epoch  3535\n",
      "Epoch  3536\n",
      "Epoch  3537\n",
      "Epoch  3538\n",
      "Epoch  3539\n",
      "Epoch  3540\n",
      "Epoch  3541\n",
      "Epoch  3542\n",
      "Epoch  3543\n",
      "Epoch  3544\n",
      "Epoch  3545\n",
      "Epoch  3546\n",
      "Epoch  3547\n",
      "Epoch  3548\n",
      "Epoch  3549\n",
      "Epoch  3550\n",
      "Epoch  3551\n",
      "Epoch  3552\n",
      "Epoch  3553\n",
      "Epoch  3554\n",
      "Epoch  3555\n",
      "Epoch  3556\n",
      "Epoch  3557\n",
      "Epoch  3558\n",
      "Epoch  3559\n",
      "Epoch  3560\n",
      "Epoch  3561\n",
      "Epoch  3562\n",
      "Epoch  3563\n",
      "Epoch  3564\n",
      "Epoch  3565\n",
      "Epoch  3566\n",
      "Epoch  3567\n",
      "Epoch  3568\n",
      "Epoch  3569\n",
      "Epoch  3570\n",
      "Epoch  3571\n",
      "Epoch  3572\n",
      "Epoch  3573\n",
      "Epoch  3574\n",
      "Epoch  3575\n",
      "Epoch  3576\n",
      "Epoch  3577\n",
      "Epoch  3578\n",
      "Epoch  3579\n",
      "Epoch  3580\n",
      "Epoch  3581\n",
      "Epoch  3582\n",
      "Epoch  3583\n",
      "Epoch  3584\n",
      "Epoch  3585\n",
      "Epoch  3586\n",
      "Epoch  3587\n",
      "Epoch  3588\n",
      "Epoch  3589\n",
      "Epoch  3590\n",
      "Epoch  3591\n",
      "Epoch  3592\n",
      "Epoch  3593\n",
      "Epoch  3594\n",
      "Epoch  3595\n",
      "Epoch  3596\n",
      "Epoch  3597\n",
      "Epoch  3598\n",
      "Epoch  3599\n",
      "Epoch  3600\n",
      "Epoch  3601\n",
      "Epoch  3602\n",
      "Epoch  3603\n",
      "Epoch  3604\n",
      "Epoch  3605\n",
      "Epoch  3606\n",
      "Epoch  3607\n",
      "Epoch  3608\n",
      "Epoch  3609\n",
      "Epoch  3610\n",
      "Epoch  3611\n",
      "Epoch  3612\n",
      "Epoch  3613\n",
      "Epoch  3614\n",
      "Epoch  3615\n",
      "Epoch  3616\n",
      "Epoch  3617\n",
      "Epoch  3618\n",
      "Epoch  3619\n",
      "Epoch  3620\n",
      "Epoch  3621\n",
      "Epoch  3622\n",
      "Epoch  3623\n",
      "Epoch  3624\n",
      "Epoch  3625\n",
      "Epoch  3626\n",
      "Epoch  3627\n",
      "Epoch  3628\n",
      "Epoch  3629\n",
      "Epoch  3630\n",
      "Epoch  3631\n",
      "Epoch  3632\n",
      "Epoch  3633\n",
      "Epoch  3634\n",
      "Epoch  3635\n",
      "Epoch  3636\n",
      "Epoch  3637\n",
      "Epoch  3638\n",
      "Epoch  3639\n",
      "Epoch  3640\n",
      "Epoch  3641\n",
      "Epoch  3642\n",
      "Epoch  3643\n",
      "Epoch  3644\n",
      "Epoch  3645\n",
      "Epoch  3646\n",
      "Epoch  3647\n",
      "Epoch  3648\n",
      "Epoch  3649\n",
      "Epoch  3650\n",
      "Epoch  3651\n",
      "Epoch  3652\n",
      "Epoch  3653\n",
      "Epoch  3654\n",
      "Epoch  3655\n",
      "Epoch  3656\n",
      "Epoch  3657\n",
      "Epoch  3658\n",
      "Epoch  3659\n",
      "Epoch  3660\n",
      "Epoch  3661\n",
      "Epoch  3662\n",
      "Epoch  3663\n",
      "Epoch  3664\n",
      "Epoch  3665\n",
      "Epoch  3666\n",
      "Epoch  3667\n",
      "Epoch  3668\n",
      "Epoch  3669\n",
      "Epoch  3670\n",
      "Epoch  3671\n",
      "Epoch  3672\n",
      "Epoch  3673\n",
      "Epoch  3674\n",
      "Epoch  3675\n",
      "Epoch  3676\n",
      "Epoch  3677\n",
      "Epoch  3678\n",
      "Epoch  3679\n",
      "Epoch  3680\n",
      "Epoch  3681\n",
      "Epoch  3682\n",
      "Epoch  3683\n",
      "Epoch  3684\n",
      "Epoch  3685\n",
      "Epoch  3686\n",
      "Epoch  3687\n",
      "Epoch  3688\n",
      "Epoch  3689\n",
      "Epoch  3690\n",
      "Epoch  3691\n",
      "Epoch  3692\n",
      "Epoch  3693\n",
      "Epoch  3694\n",
      "Epoch  3695\n",
      "Epoch  3696\n",
      "Epoch  3697\n",
      "Epoch  3698\n",
      "Epoch  3699\n",
      "Epoch  3700\n",
      "Epoch  3701\n",
      "Epoch  3702\n",
      "Epoch  3703\n",
      "Epoch  3704\n",
      "Epoch  3705\n",
      "Epoch  3706\n",
      "Epoch  3707\n",
      "Epoch  3708\n",
      "Epoch  3709\n",
      "Epoch  3710\n",
      "Epoch  3711\n",
      "Epoch  3712\n",
      "Epoch  3713\n",
      "Epoch  3714\n",
      "Epoch  3715\n",
      "Epoch  3716\n",
      "Epoch  3717\n",
      "Epoch  3718\n",
      "Epoch  3719\n",
      "Epoch  3720\n",
      "Epoch  3721\n",
      "Epoch  3722\n",
      "Epoch  3723\n",
      "Epoch  3724\n",
      "Epoch  3725\n",
      "Epoch  3726\n",
      "Epoch  3727\n",
      "Epoch  3728\n",
      "Epoch  3729\n",
      "Epoch  3730\n",
      "Epoch  3731\n",
      "Epoch  3732\n",
      "Epoch  3733\n",
      "Epoch  3734\n",
      "Epoch  3735\n",
      "Epoch  3736\n",
      "Epoch  3737\n",
      "Epoch  3738\n",
      "Epoch  3739\n",
      "Epoch  3740\n",
      "Epoch  3741\n",
      "Epoch  3742\n",
      "Epoch  3743\n",
      "Epoch  3744\n",
      "Epoch  3745\n",
      "Epoch  3746\n",
      "Epoch  3747\n",
      "Epoch  3748\n",
      "Epoch  3749\n",
      "Epoch  3750\n",
      "Epoch  3751\n",
      "Epoch  3752\n",
      "Epoch  3753\n",
      "Epoch  3754\n",
      "Epoch  3755\n",
      "Epoch  3756\n",
      "Epoch  3757\n",
      "Epoch  3758\n",
      "Epoch  3759\n",
      "Epoch  3760\n",
      "Epoch  3761\n",
      "Epoch  3762\n",
      "Epoch  3763\n",
      "Epoch  3764\n",
      "Epoch  3765\n",
      "Epoch  3766\n",
      "Epoch  3767\n",
      "Epoch  3768\n",
      "Epoch  3769\n",
      "Epoch  3770\n",
      "Epoch  3771\n",
      "Epoch  3772\n",
      "Epoch  3773\n",
      "Epoch  3774\n",
      "Epoch  3775\n",
      "Epoch  3776\n",
      "Epoch  3777\n",
      "Epoch  3778\n",
      "Epoch  3779\n",
      "Epoch  3780\n",
      "Epoch  3781\n",
      "Epoch  3782\n",
      "Epoch  3783\n",
      "Epoch  3784\n",
      "Epoch  3785\n",
      "Epoch  3786\n",
      "Epoch  3787\n",
      "Epoch  3788\n",
      "Epoch  3789\n",
      "Epoch  3790\n",
      "Epoch  3791\n",
      "Epoch  3792\n",
      "Epoch  3793\n",
      "Epoch  3794\n",
      "Epoch  3795\n",
      "Epoch  3796\n",
      "Epoch  3797\n",
      "Epoch  3798\n",
      "Epoch  3799\n",
      "Epoch  3800\n",
      "Epoch  3801\n",
      "Epoch  3802\n",
      "Epoch  3803\n",
      "Epoch  3804\n",
      "Epoch  3805\n",
      "Epoch  3806\n",
      "Epoch  3807\n",
      "Epoch  3808\n",
      "Epoch  3809\n",
      "Epoch  3810\n",
      "Epoch  3811\n",
      "Epoch  3812\n",
      "Epoch  3813\n",
      "Epoch  3814\n",
      "Epoch  3815\n",
      "Epoch  3816\n",
      "Epoch  3817\n",
      "Epoch  3818\n",
      "Epoch  3819\n",
      "Epoch  3820\n",
      "Epoch  3821\n",
      "Epoch  3822\n",
      "Epoch  3823\n",
      "Epoch  3824\n",
      "Epoch  3825\n",
      "Epoch  3826\n",
      "Epoch  3827\n",
      "Epoch  3828\n",
      "Epoch  3829\n",
      "Epoch  3830\n",
      "Epoch  3831\n",
      "Epoch  3832\n",
      "Epoch  3833\n",
      "Epoch  3834\n",
      "Epoch  3835\n",
      "Epoch  3836\n",
      "Epoch  3837\n",
      "Epoch  3838\n",
      "Epoch  3839\n",
      "Epoch  3840\n",
      "Epoch  3841\n",
      "Epoch  3842\n",
      "Epoch  3843\n",
      "Epoch  3844\n",
      "Epoch  3845\n",
      "Epoch  3846\n",
      "Epoch  3847\n",
      "Epoch  3848\n",
      "Epoch  3849\n",
      "Epoch  3850\n",
      "Epoch  3851\n",
      "Epoch  3852\n",
      "Epoch  3853\n",
      "Epoch  3854\n",
      "Epoch  3855\n",
      "Epoch  3856\n",
      "Epoch  3857\n",
      "Epoch  3858\n",
      "Epoch  3859\n",
      "Epoch  3860\n",
      "Epoch  3861\n",
      "Epoch  3862\n",
      "Epoch  3863\n",
      "Epoch  3864\n",
      "Epoch  3865\n",
      "Epoch  3866\n",
      "Epoch  3867\n",
      "Epoch  3868\n",
      "Epoch  3869\n",
      "Epoch  3870\n",
      "Epoch  3871\n",
      "Epoch  3872\n",
      "Epoch  3873\n",
      "Epoch  3874\n",
      "Epoch  3875\n",
      "Epoch  3876\n",
      "Epoch  3877\n",
      "Epoch  3878\n",
      "Epoch  3879\n",
      "Epoch  3880\n",
      "Epoch  3881\n",
      "Epoch  3882\n",
      "Epoch  3883\n",
      "Epoch  3884\n",
      "Epoch  3885\n",
      "Epoch  3886\n",
      "Epoch  3887\n",
      "Epoch  3888\n",
      "Epoch  3889\n",
      "Epoch  3890\n",
      "Epoch  3891\n",
      "Epoch  3892\n",
      "Epoch  3893\n",
      "Epoch  3894\n",
      "Epoch  3895\n",
      "Epoch  3896\n",
      "Epoch  3897\n",
      "Epoch  3898\n",
      "Epoch  3899\n",
      "Epoch  3900\n",
      "Epoch  3901\n",
      "Epoch  3902\n",
      "Epoch  3903\n",
      "Epoch  3904\n",
      "Epoch  3905\n",
      "Epoch  3906\n",
      "Epoch  3907\n",
      "Epoch  3908\n",
      "Epoch  3909\n",
      "Epoch  3910\n",
      "Epoch  3911\n",
      "Epoch  3912\n",
      "Epoch  3913\n",
      "Epoch  3914\n",
      "Epoch  3915\n",
      "Epoch  3916\n",
      "Epoch  3917\n",
      "Epoch  3918\n",
      "Epoch  3919\n",
      "Epoch  3920\n",
      "Epoch  3921\n",
      "Epoch  3922\n",
      "Epoch  3923\n",
      "Epoch  3924\n",
      "Epoch  3925\n",
      "Epoch  3926\n",
      "Epoch  3927\n",
      "Epoch  3928\n",
      "Epoch  3929\n",
      "Epoch  3930\n",
      "Epoch  3931\n",
      "Epoch  3932\n",
      "Epoch  3933\n",
      "Epoch  3934\n",
      "Epoch  3935\n",
      "Epoch  3936\n",
      "Epoch  3937\n",
      "Epoch  3938\n",
      "Epoch  3939\n",
      "Epoch  3940\n",
      "Epoch  3941\n",
      "Epoch  3942\n",
      "Epoch  3943\n",
      "Epoch  3944\n",
      "Epoch  3945\n",
      "Epoch  3946\n",
      "Epoch  3947\n",
      "Epoch  3948\n",
      "Epoch  3949\n",
      "Epoch  3950\n",
      "Epoch  3951\n",
      "Epoch  3952\n",
      "Epoch  3953\n",
      "Epoch  3954\n",
      "Epoch  3955\n",
      "Epoch  3956\n",
      "Epoch  3957\n",
      "Epoch  3958\n",
      "Epoch  3959\n",
      "Epoch  3960\n",
      "Epoch  3961\n",
      "Epoch  3962\n",
      "Epoch  3963\n",
      "Epoch  3964\n",
      "Epoch  3965\n",
      "Epoch  3966\n",
      "Epoch  3967\n",
      "Epoch  3968\n",
      "Epoch  3969\n",
      "Epoch  3970\n",
      "Epoch  3971\n",
      "Epoch  3972\n",
      "Epoch  3973\n",
      "Epoch  3974\n",
      "Epoch  3975\n",
      "Epoch  3976\n",
      "Epoch  3977\n",
      "Epoch  3978\n",
      "Epoch  3979\n",
      "Epoch  3980\n",
      "Epoch  3981\n",
      "Epoch  3982\n",
      "Epoch  3983\n",
      "Epoch  3984\n",
      "Epoch  3985\n",
      "Epoch  3986\n",
      "Epoch  3987\n",
      "Epoch  3988\n",
      "Epoch  3989\n",
      "Epoch  3990\n",
      "Epoch  3991\n",
      "Epoch  3992\n",
      "Epoch  3993\n",
      "Epoch  3994\n",
      "Epoch  3995\n",
      "Epoch  3996\n",
      "Epoch  3997\n",
      "Epoch  3998\n",
      "Epoch  3999\n",
      "Epoch  4000\n",
      "Epoch  4001\n",
      "Epoch  4002\n",
      "Epoch  4003\n",
      "Epoch  4004\n",
      "Epoch  4005\n",
      "Epoch  4006\n",
      "Epoch  4007\n",
      "Epoch  4008\n",
      "Epoch  4009\n",
      "Epoch  4010\n",
      "Epoch  4011\n",
      "Epoch  4012\n",
      "Epoch  4013\n",
      "Epoch  4014\n",
      "Epoch  4015\n",
      "Epoch  4016\n",
      "Epoch  4017\n",
      "Epoch  4018\n",
      "Epoch  4019\n",
      "Epoch  4020\n",
      "Epoch  4021\n",
      "Epoch  4022\n",
      "Epoch  4023\n",
      "Epoch  4024\n",
      "Epoch  4025\n",
      "Epoch  4026\n",
      "Epoch  4027\n",
      "Epoch  4028\n",
      "Epoch  4029\n",
      "Epoch  4030\n",
      "Epoch  4031\n",
      "Epoch  4032\n",
      "Epoch  4033\n",
      "Epoch  4034\n",
      "Epoch  4035\n",
      "Epoch  4036\n",
      "Epoch  4037\n",
      "Epoch  4038\n",
      "Epoch  4039\n",
      "Epoch  4040\n",
      "Epoch  4041\n",
      "Epoch  4042\n",
      "Epoch  4043\n",
      "Epoch  4044\n",
      "Epoch  4045\n",
      "Epoch  4046\n",
      "Epoch  4047\n",
      "Epoch  4048\n",
      "Epoch  4049\n",
      "Epoch  4050\n",
      "Epoch  4051\n",
      "Epoch  4052\n",
      "Epoch  4053\n",
      "Epoch  4054\n",
      "Epoch  4055\n",
      "Epoch  4056\n",
      "Epoch  4057\n",
      "Epoch  4058\n",
      "Epoch  4059\n",
      "Epoch  4060\n",
      "Epoch  4061\n",
      "Epoch  4062\n",
      "Epoch  4063\n",
      "Epoch  4064\n",
      "Epoch  4065\n",
      "Epoch  4066\n",
      "Epoch  4067\n",
      "Epoch  4068\n",
      "Epoch  4069\n",
      "Epoch  4070\n",
      "Epoch  4071\n",
      "Epoch  4072\n",
      "Epoch  4073\n",
      "Epoch  4074\n",
      "Epoch  4075\n",
      "Epoch  4076\n",
      "Epoch  4077\n",
      "Epoch  4078\n",
      "Epoch  4079\n",
      "Epoch  4080\n",
      "Epoch  4081\n",
      "Epoch  4082\n",
      "Epoch  4083\n",
      "Epoch  4084\n",
      "Epoch  4085\n",
      "Epoch  4086\n",
      "Epoch  4087\n",
      "Epoch  4088\n",
      "Epoch  4089\n",
      "Epoch  4090\n",
      "Epoch  4091\n",
      "Epoch  4092\n",
      "Epoch  4093\n",
      "Epoch  4094\n",
      "Epoch  4095\n",
      "Epoch  4096\n",
      "Epoch  4097\n",
      "Epoch  4098\n",
      "Epoch  4099\n",
      "Epoch  4100\n",
      "Epoch  4101\n",
      "Epoch  4102\n",
      "Epoch  4103\n",
      "Epoch  4104\n",
      "Epoch  4105\n",
      "Epoch  4106\n",
      "Epoch  4107\n",
      "Epoch  4108\n",
      "Epoch  4109\n",
      "Epoch  4110\n",
      "Epoch  4111\n",
      "Epoch  4112\n",
      "Epoch  4113\n",
      "Epoch  4114\n",
      "Epoch  4115\n",
      "Epoch  4116\n",
      "Epoch  4117\n",
      "Epoch  4118\n",
      "Epoch  4119\n",
      "Epoch  4120\n",
      "Epoch  4121\n",
      "Epoch  4122\n",
      "Epoch  4123\n",
      "Epoch  4124\n",
      "Epoch  4125\n",
      "Epoch  4126\n",
      "Epoch  4127\n",
      "Epoch  4128\n",
      "Epoch  4129\n",
      "Epoch  4130\n",
      "Epoch  4131\n",
      "Epoch  4132\n",
      "Epoch  4133\n",
      "Epoch  4134\n",
      "Epoch  4135\n",
      "Epoch  4136\n",
      "Epoch  4137\n",
      "Epoch  4138\n",
      "Epoch  4139\n",
      "Epoch  4140\n",
      "Epoch  4141\n",
      "Epoch  4142\n",
      "Epoch  4143\n",
      "Epoch  4144\n",
      "Epoch  4145\n",
      "Epoch  4146\n",
      "Epoch  4147\n",
      "Epoch  4148\n",
      "Epoch  4149\n",
      "Epoch  4150\n",
      "Epoch  4151\n",
      "Epoch  4152\n",
      "Epoch  4153\n",
      "Epoch  4154\n",
      "Epoch  4155\n",
      "Epoch  4156\n",
      "Epoch  4157\n",
      "Epoch  4158\n",
      "Epoch  4159\n",
      "Epoch  4160\n",
      "Epoch  4161\n",
      "Epoch  4162\n",
      "Epoch  4163\n",
      "Epoch  4164\n",
      "Epoch  4165\n",
      "Epoch  4166\n",
      "Epoch  4167\n",
      "Epoch  4168\n",
      "Epoch  4169\n",
      "Epoch  4170\n",
      "Epoch  4171\n",
      "Epoch  4172\n",
      "Epoch  4173\n",
      "Epoch  4174\n",
      "Epoch  4175\n",
      "Epoch  4176\n",
      "Epoch  4177\n",
      "Epoch  4178\n",
      "Epoch  4179\n",
      "Epoch  4180\n",
      "Epoch  4181\n",
      "Epoch  4182\n",
      "Epoch  4183\n",
      "Epoch  4184\n",
      "Epoch  4185\n",
      "Epoch  4186\n",
      "Epoch  4187\n",
      "Epoch  4188\n",
      "Epoch  4189\n",
      "Epoch  4190\n",
      "Epoch  4191\n",
      "Epoch  4192\n",
      "Epoch  4193\n",
      "Epoch  4194\n",
      "Epoch  4195\n",
      "Epoch  4196\n",
      "Epoch  4197\n",
      "Epoch  4198\n",
      "Epoch  4199\n",
      "Epoch  4200\n",
      "Epoch  4201\n",
      "Epoch  4202\n",
      "Epoch  4203\n",
      "Epoch  4204\n",
      "Epoch  4205\n",
      "Epoch  4206\n",
      "Epoch  4207\n",
      "Epoch  4208\n",
      "Epoch  4209\n",
      "Epoch  4210\n",
      "Epoch  4211\n",
      "Epoch  4212\n",
      "Epoch  4213\n",
      "Epoch  4214\n",
      "Epoch  4215\n",
      "Epoch  4216\n",
      "Epoch  4217\n",
      "Epoch  4218\n",
      "Epoch  4219\n",
      "Epoch  4220\n",
      "Epoch  4221\n",
      "Epoch  4222\n",
      "Epoch  4223\n",
      "Epoch  4224\n",
      "Epoch  4225\n",
      "Epoch  4226\n",
      "Epoch  4227\n",
      "Epoch  4228\n",
      "Epoch  4229\n",
      "Epoch  4230\n",
      "Epoch  4231\n",
      "Epoch  4232\n",
      "Epoch  4233\n",
      "Epoch  4234\n",
      "Epoch  4235\n",
      "Epoch  4236\n",
      "Epoch  4237\n",
      "Epoch  4238\n",
      "Epoch  4239\n",
      "Epoch  4240\n",
      "Epoch  4241\n",
      "Epoch  4242\n",
      "Epoch  4243\n",
      "Epoch  4244\n",
      "Epoch  4245\n",
      "Epoch  4246\n",
      "Epoch  4247\n",
      "Epoch  4248\n",
      "Epoch  4249\n",
      "Epoch  4250\n",
      "Epoch  4251\n",
      "Epoch  4252\n",
      "Epoch  4253\n",
      "Epoch  4254\n",
      "Epoch  4255\n",
      "Epoch  4256\n",
      "Epoch  4257\n",
      "Epoch  4258\n",
      "Epoch  4259\n",
      "Epoch  4260\n",
      "Epoch  4261\n",
      "Epoch  4262\n",
      "Epoch  4263\n",
      "Epoch  4264\n",
      "Epoch  4265\n",
      "Epoch  4266\n",
      "Epoch  4267\n",
      "Epoch  4268\n",
      "Epoch  4269\n",
      "Epoch  4270\n",
      "Epoch  4271\n",
      "Epoch  4272\n",
      "Epoch  4273\n",
      "Epoch  4274\n",
      "Epoch  4275\n",
      "Epoch  4276\n",
      "Epoch  4277\n",
      "Epoch  4278\n",
      "Epoch  4279\n",
      "Epoch  4280\n",
      "Epoch  4281\n",
      "Epoch  4282\n",
      "Epoch  4283\n",
      "Epoch  4284\n",
      "Epoch  4285\n",
      "Epoch  4286\n",
      "Epoch  4287\n",
      "Epoch  4288\n",
      "Epoch  4289\n",
      "Epoch  4290\n",
      "Epoch  4291\n",
      "Epoch  4292\n",
      "Epoch  4293\n",
      "Epoch  4294\n",
      "Epoch  4295\n",
      "Epoch  4296\n",
      "Epoch  4297\n",
      "Epoch  4298\n",
      "Epoch  4299\n",
      "Epoch  4300\n",
      "Epoch  4301\n",
      "Epoch  4302\n",
      "Epoch  4303\n",
      "Epoch  4304\n",
      "Epoch  4305\n",
      "Epoch  4306\n",
      "Epoch  4307\n",
      "Epoch  4308\n",
      "Epoch  4309\n",
      "Epoch  4310\n",
      "Epoch  4311\n",
      "Epoch  4312\n",
      "Epoch  4313\n",
      "Epoch  4314\n",
      "Epoch  4315\n",
      "Epoch  4316\n",
      "Epoch  4317\n",
      "Epoch  4318\n",
      "Epoch  4319\n",
      "Epoch  4320\n",
      "Epoch  4321\n",
      "Epoch  4322\n",
      "Epoch  4323\n",
      "Epoch  4324\n",
      "Epoch  4325\n",
      "Epoch  4326\n",
      "Epoch  4327\n",
      "Epoch  4328\n",
      "Epoch  4329\n",
      "Epoch  4330\n",
      "Epoch  4331\n",
      "Epoch  4332\n",
      "Epoch  4333\n",
      "Epoch  4334\n",
      "Epoch  4335\n",
      "Epoch  4336\n",
      "Epoch  4337\n",
      "Epoch  4338\n",
      "Epoch  4339\n",
      "Epoch  4340\n",
      "Epoch  4341\n",
      "Epoch  4342\n",
      "Epoch  4343\n",
      "Epoch  4344\n",
      "Epoch  4345\n",
      "Epoch  4346\n",
      "Epoch  4347\n",
      "Epoch  4348\n",
      "Epoch  4349\n",
      "Epoch  4350\n",
      "Epoch  4351\n",
      "Epoch  4352\n",
      "Epoch  4353\n",
      "Epoch  4354\n",
      "Epoch  4355\n",
      "Epoch  4356\n",
      "Epoch  4357\n",
      "Epoch  4358\n",
      "Epoch  4359\n",
      "Epoch  4360\n",
      "Epoch  4361\n",
      "Epoch  4362\n",
      "Epoch  4363\n",
      "Epoch  4364\n",
      "Epoch  4365\n",
      "Epoch  4366\n",
      "Epoch  4367\n",
      "Epoch  4368\n",
      "Epoch  4369\n",
      "Epoch  4370\n",
      "Epoch  4371\n",
      "Epoch  4372\n",
      "Epoch  4373\n",
      "Epoch  4374\n",
      "Epoch  4375\n",
      "Epoch  4376\n",
      "Epoch  4377\n",
      "Epoch  4378\n",
      "Epoch  4379\n",
      "Epoch  4380\n",
      "Epoch  4381\n",
      "Epoch  4382\n",
      "Epoch  4383\n",
      "Epoch  4384\n",
      "Epoch  4385\n",
      "Epoch  4386\n",
      "Epoch  4387\n",
      "Epoch  4388\n",
      "Epoch  4389\n",
      "Epoch  4390\n",
      "Epoch  4391\n",
      "Epoch  4392\n",
      "Epoch  4393\n",
      "Epoch  4394\n",
      "Epoch  4395\n",
      "Epoch  4396\n",
      "Epoch  4397\n",
      "Epoch  4398\n",
      "Epoch  4399\n",
      "Epoch  4400\n",
      "Epoch  4401\n",
      "Epoch  4402\n",
      "Epoch  4403\n",
      "Epoch  4404\n",
      "Epoch  4405\n",
      "Epoch  4406\n",
      "Epoch  4407\n",
      "Epoch  4408\n",
      "Epoch  4409\n",
      "Epoch  4410\n",
      "Epoch  4411\n",
      "Epoch  4412\n",
      "Epoch  4413\n",
      "Epoch  4414\n",
      "Epoch  4415\n",
      "Epoch  4416\n",
      "Epoch  4417\n",
      "Epoch  4418\n",
      "Epoch  4419\n",
      "Epoch  4420\n",
      "Epoch  4421\n",
      "Epoch  4422\n",
      "Epoch  4423\n",
      "Epoch  4424\n",
      "Epoch  4425\n",
      "Epoch  4426\n",
      "Epoch  4427\n",
      "Epoch  4428\n",
      "Epoch  4429\n",
      "Epoch  4430\n",
      "Epoch  4431\n",
      "Epoch  4432\n",
      "Epoch  4433\n",
      "Epoch  4434\n",
      "Epoch  4435\n",
      "Epoch  4436\n",
      "Epoch  4437\n",
      "Epoch  4438\n",
      "Epoch  4439\n",
      "Epoch  4440\n",
      "Epoch  4441\n",
      "Epoch  4442\n",
      "Epoch  4443\n",
      "Epoch  4444\n",
      "Epoch  4445\n",
      "Epoch  4446\n",
      "Epoch  4447\n",
      "Epoch  4448\n",
      "Epoch  4449\n",
      "Epoch  4450\n",
      "Epoch  4451\n",
      "Epoch  4452\n",
      "Epoch  4453\n",
      "Epoch  4454\n",
      "Epoch  4455\n",
      "Epoch  4456\n",
      "Epoch  4457\n",
      "Epoch  4458\n",
      "Epoch  4459\n",
      "Epoch  4460\n",
      "Epoch  4461\n",
      "Epoch  4462\n",
      "Epoch  4463\n",
      "Epoch  4464\n",
      "Epoch  4465\n",
      "Epoch  4466\n",
      "Epoch  4467\n",
      "Epoch  4468\n",
      "Epoch  4469\n",
      "Epoch  4470\n",
      "Epoch  4471\n",
      "Epoch  4472\n",
      "Epoch  4473\n",
      "Epoch  4474\n",
      "Epoch  4475\n",
      "Epoch  4476\n",
      "Epoch  4477\n",
      "Epoch  4478\n",
      "Epoch  4479\n",
      "Epoch  4480\n",
      "Epoch  4481\n",
      "Epoch  4482\n",
      "Epoch  4483\n",
      "Epoch  4484\n",
      "Epoch  4485\n",
      "Epoch  4486\n",
      "Epoch  4487\n",
      "Epoch  4488\n",
      "Epoch  4489\n",
      "Epoch  4490\n",
      "Epoch  4491\n",
      "Epoch  4492\n",
      "Epoch  4493\n",
      "Epoch  4494\n",
      "Epoch  4495\n",
      "Epoch  4496\n",
      "Epoch  4497\n",
      "Epoch  4498\n",
      "Epoch  4499\n",
      "Epoch  4500\n",
      "Epoch  4501\n",
      "Epoch  4502\n",
      "Epoch  4503\n",
      "Epoch  4504\n",
      "Epoch  4505\n",
      "Epoch  4506\n",
      "Epoch  4507\n",
      "Epoch  4508\n",
      "Epoch  4509\n",
      "Epoch  4510\n",
      "Epoch  4511\n",
      "Epoch  4512\n",
      "Epoch  4513\n",
      "Epoch  4514\n",
      "Epoch  4515\n",
      "Epoch  4516\n",
      "Epoch  4517\n",
      "Epoch  4518\n",
      "Epoch  4519\n",
      "Epoch  4520\n",
      "Epoch  4521\n",
      "Epoch  4522\n",
      "Epoch  4523\n",
      "Epoch  4524\n",
      "Epoch  4525\n",
      "Epoch  4526\n",
      "Epoch  4527\n",
      "Epoch  4528\n",
      "Epoch  4529\n",
      "Epoch  4530\n",
      "Epoch  4531\n",
      "Epoch  4532\n",
      "Epoch  4533\n",
      "Epoch  4534\n",
      "Epoch  4535\n",
      "Epoch  4536\n",
      "Epoch  4537\n",
      "Epoch  4538\n",
      "Epoch  4539\n",
      "Epoch  4540\n",
      "Epoch  4541\n",
      "Epoch  4542\n",
      "Epoch  4543\n",
      "Epoch  4544\n",
      "Epoch  4545\n",
      "Epoch  4546\n",
      "Epoch  4547\n",
      "Epoch  4548\n",
      "Epoch  4549\n",
      "Epoch  4550\n",
      "Epoch  4551\n",
      "Epoch  4552\n",
      "Epoch  4553\n",
      "Epoch  4554\n",
      "Epoch  4555\n",
      "Epoch  4556\n",
      "Epoch  4557\n",
      "Epoch  4558\n",
      "Epoch  4559\n",
      "Epoch  4560\n",
      "Epoch  4561\n",
      "Epoch  4562\n",
      "Epoch  4563\n",
      "Epoch  4564\n",
      "Epoch  4565\n",
      "Epoch  4566\n",
      "Epoch  4567\n",
      "Epoch  4568\n",
      "Epoch  4569\n",
      "Epoch  4570\n",
      "Epoch  4571\n",
      "Epoch  4572\n",
      "Epoch  4573\n",
      "Epoch  4574\n",
      "Epoch  4575\n",
      "Epoch  4576\n",
      "Epoch  4577\n",
      "Epoch  4578\n",
      "Epoch  4579\n",
      "Epoch  4580\n",
      "Epoch  4581\n",
      "Epoch  4582\n",
      "Epoch  4583\n",
      "Epoch  4584\n",
      "Epoch  4585\n",
      "Epoch  4586\n",
      "Epoch  4587\n",
      "Epoch  4588\n",
      "Epoch  4589\n",
      "Epoch  4590\n",
      "Epoch  4591\n",
      "Epoch  4592\n",
      "Epoch  4593\n",
      "Epoch  4594\n",
      "Epoch  4595\n",
      "Epoch  4596\n",
      "Epoch  4597\n",
      "Epoch  4598\n",
      "Epoch  4599\n",
      "Epoch  4600\n",
      "Epoch  4601\n",
      "Epoch  4602\n",
      "Epoch  4603\n",
      "Epoch  4604\n",
      "Epoch  4605\n",
      "Epoch  4606\n",
      "Epoch  4607\n",
      "Epoch  4608\n",
      "Epoch  4609\n",
      "Epoch  4610\n",
      "Epoch  4611\n",
      "Epoch  4612\n",
      "Epoch  4613\n",
      "Epoch  4614\n",
      "Epoch  4615\n",
      "Epoch  4616\n",
      "Epoch  4617\n",
      "Epoch  4618\n",
      "Epoch  4619\n",
      "Epoch  4620\n",
      "Epoch  4621\n",
      "Epoch  4622\n",
      "Epoch  4623\n",
      "Epoch  4624\n",
      "Epoch  4625\n",
      "Epoch  4626\n",
      "Epoch  4627\n",
      "Epoch  4628\n",
      "Epoch  4629\n",
      "Epoch  4630\n",
      "Epoch  4631\n",
      "Epoch  4632\n",
      "Epoch  4633\n",
      "Epoch  4634\n",
      "Epoch  4635\n",
      "Epoch  4636\n",
      "Epoch  4637\n",
      "Epoch  4638\n",
      "Epoch  4639\n",
      "Epoch  4640\n",
      "Epoch  4641\n",
      "Epoch  4642\n",
      "Epoch  4643\n",
      "Epoch  4644\n",
      "Epoch  4645\n",
      "Epoch  4646\n",
      "Epoch  4647\n",
      "Epoch  4648\n",
      "Epoch  4649\n",
      "Epoch  4650\n",
      "Epoch  4651\n",
      "Epoch  4652\n",
      "Epoch  4653\n",
      "Epoch  4654\n",
      "Epoch  4655\n",
      "Epoch  4656\n",
      "Epoch  4657\n",
      "Epoch  4658\n",
      "Epoch  4659\n",
      "Epoch  4660\n",
      "Epoch  4661\n",
      "Epoch  4662\n",
      "Epoch  4663\n",
      "Epoch  4664\n",
      "Epoch  4665\n",
      "Epoch  4666\n",
      "Epoch  4667\n",
      "Epoch  4668\n",
      "Epoch  4669\n",
      "Epoch  4670\n",
      "Epoch  4671\n",
      "Epoch  4672\n",
      "Epoch  4673\n",
      "Epoch  4674\n",
      "Epoch  4675\n",
      "Epoch  4676\n",
      "Epoch  4677\n",
      "Epoch  4678\n",
      "Epoch  4679\n",
      "Epoch  4680\n",
      "Epoch  4681\n",
      "Epoch  4682\n",
      "Epoch  4683\n",
      "Epoch  4684\n",
      "Epoch  4685\n",
      "Epoch  4686\n",
      "Epoch  4687\n",
      "Epoch  4688\n",
      "Epoch  4689\n",
      "Epoch  4690\n",
      "Epoch  4691\n",
      "Epoch  4692\n",
      "Epoch  4693\n",
      "Epoch  4694\n",
      "Epoch  4695\n",
      "Epoch  4696\n",
      "Epoch  4697\n",
      "Epoch  4698\n",
      "Epoch  4699\n",
      "Epoch  4700\n",
      "Epoch  4701\n",
      "Epoch  4702\n",
      "Epoch  4703\n",
      "Epoch  4704\n",
      "Epoch  4705\n",
      "Epoch  4706\n",
      "Epoch  4707\n",
      "Epoch  4708\n",
      "Epoch  4709\n",
      "Epoch  4710\n",
      "Epoch  4711\n",
      "Epoch  4712\n",
      "Epoch  4713\n",
      "Epoch  4714\n",
      "Epoch  4715\n",
      "Epoch  4716\n",
      "Epoch  4717\n",
      "Epoch  4718\n",
      "Epoch  4719\n",
      "Epoch  4720\n",
      "Epoch  4721\n",
      "Epoch  4722\n",
      "Epoch  4723\n",
      "Epoch  4724\n",
      "Epoch  4725\n",
      "Epoch  4726\n",
      "Epoch  4727\n",
      "Epoch  4728\n",
      "Epoch  4729\n",
      "Epoch  4730\n",
      "Epoch  4731\n",
      "Epoch  4732\n",
      "Epoch  4733\n",
      "Epoch  4734\n",
      "Epoch  4735\n",
      "Epoch  4736\n",
      "Epoch  4737\n",
      "Epoch  4738\n",
      "Epoch  4739\n",
      "Epoch  4740\n",
      "Epoch  4741\n",
      "Epoch  4742\n",
      "Epoch  4743\n",
      "Epoch  4744\n",
      "Epoch  4745\n",
      "Epoch  4746\n",
      "Epoch  4747\n",
      "Epoch  4748\n",
      "Epoch  4749\n",
      "Epoch  4750\n",
      "Epoch  4751\n",
      "Epoch  4752\n",
      "Epoch  4753\n",
      "Epoch  4754\n",
      "Epoch  4755\n",
      "Epoch  4756\n",
      "Epoch  4757\n",
      "Epoch  4758\n",
      "Epoch  4759\n",
      "Epoch  4760\n",
      "Epoch  4761\n",
      "Epoch  4762\n",
      "Epoch  4763\n",
      "Epoch  4764\n",
      "Epoch  4765\n",
      "Epoch  4766\n",
      "Epoch  4767\n",
      "Epoch  4768\n",
      "Epoch  4769\n",
      "Epoch  4770\n",
      "Epoch  4771\n",
      "Epoch  4772\n",
      "Epoch  4773\n",
      "Epoch  4774\n",
      "Epoch  4775\n",
      "Epoch  4776\n",
      "Epoch  4777\n",
      "Epoch  4778\n",
      "Epoch  4779\n",
      "Epoch  4780\n",
      "Epoch  4781\n",
      "Epoch  4782\n",
      "Epoch  4783\n",
      "Epoch  4784\n",
      "Epoch  4785\n",
      "Epoch  4786\n",
      "Epoch  4787\n",
      "Epoch  4788\n",
      "Epoch  4789\n",
      "Epoch  4790\n",
      "Epoch  4791\n",
      "Epoch  4792\n",
      "Epoch  4793\n",
      "Epoch  4794\n",
      "Epoch  4795\n",
      "Epoch  4796\n",
      "Epoch  4797\n",
      "Epoch  4798\n",
      "Epoch  4799\n",
      "Epoch  4800\n",
      "Epoch  4801\n",
      "Epoch  4802\n",
      "Epoch  4803\n",
      "Epoch  4804\n",
      "Epoch  4805\n",
      "Epoch  4806\n",
      "Epoch  4807\n",
      "Epoch  4808\n",
      "Epoch  4809\n",
      "Epoch  4810\n",
      "Epoch  4811\n",
      "Epoch  4812\n",
      "Epoch  4813\n",
      "Epoch  4814\n",
      "Epoch  4815\n",
      "Epoch  4816\n",
      "Epoch  4817\n",
      "Epoch  4818\n",
      "Epoch  4819\n",
      "Epoch  4820\n",
      "Epoch  4821\n",
      "Epoch  4822\n",
      "Epoch  4823\n",
      "Epoch  4824\n",
      "Epoch  4825\n",
      "Epoch  4826\n",
      "Epoch  4827\n",
      "Epoch  4828\n",
      "Epoch  4829\n",
      "Epoch  4830\n",
      "Epoch  4831\n",
      "Epoch  4832\n",
      "Epoch  4833\n",
      "Epoch  4834\n",
      "Epoch  4835\n",
      "Epoch  4836\n",
      "Epoch  4837\n",
      "Epoch  4838\n",
      "Epoch  4839\n",
      "Epoch  4840\n",
      "Epoch  4841\n",
      "Epoch  4842\n",
      "Epoch  4843\n",
      "Epoch  4844\n",
      "Epoch  4845\n",
      "Epoch  4846\n",
      "Epoch  4847\n",
      "Epoch  4848\n",
      "Epoch  4849\n",
      "Epoch  4850\n",
      "Epoch  4851\n",
      "Epoch  4852\n",
      "Epoch  4853\n",
      "Epoch  4854\n",
      "Epoch  4855\n",
      "Epoch  4856\n",
      "Epoch  4857\n",
      "Epoch  4858\n",
      "Epoch  4859\n",
      "Epoch  4860\n",
      "Epoch  4861\n",
      "Epoch  4862\n",
      "Epoch  4863\n",
      "Epoch  4864\n",
      "Epoch  4865\n",
      "Epoch  4866\n",
      "Epoch  4867\n",
      "Epoch  4868\n",
      "Epoch  4869\n",
      "Epoch  4870\n",
      "Epoch  4871\n",
      "Epoch  4872\n",
      "Epoch  4873\n",
      "Epoch  4874\n",
      "Epoch  4875\n",
      "Epoch  4876\n",
      "Epoch  4877\n",
      "Epoch  4878\n",
      "Epoch  4879\n",
      "Epoch  4880\n",
      "Epoch  4881\n",
      "Epoch  4882\n",
      "Epoch  4883\n",
      "Epoch  4884\n",
      "Epoch  4885\n",
      "Epoch  4886\n",
      "Epoch  4887\n",
      "Epoch  4888\n",
      "Epoch  4889\n",
      "Epoch  4890\n",
      "Epoch  4891\n",
      "Epoch  4892\n",
      "Epoch  4893\n",
      "Epoch  4894\n",
      "Epoch  4895\n",
      "Epoch  4896\n",
      "Epoch  4897\n",
      "Epoch  4898\n",
      "Epoch  4899\n",
      "Epoch  4900\n",
      "Epoch  4901\n",
      "Epoch  4902\n",
      "Epoch  4903\n",
      "Epoch  4904\n",
      "Epoch  4905\n",
      "Epoch  4906\n",
      "Epoch  4907\n",
      "Epoch  4908\n",
      "Epoch  4909\n",
      "Epoch  4910\n",
      "Epoch  4911\n",
      "Epoch  4912\n",
      "Epoch  4913\n",
      "Epoch  4914\n",
      "Epoch  4915\n",
      "Epoch  4916\n",
      "Epoch  4917\n",
      "Epoch  4918\n",
      "Epoch  4919\n",
      "Epoch  4920\n",
      "Epoch  4921\n",
      "Epoch  4922\n",
      "Epoch  4923\n",
      "Epoch  4924\n",
      "Epoch  4925\n",
      "Epoch  4926\n",
      "Epoch  4927\n",
      "Epoch  4928\n",
      "Epoch  4929\n",
      "Epoch  4930\n",
      "Epoch  4931\n",
      "Epoch  4932\n",
      "Epoch  4933\n",
      "Epoch  4934\n",
      "Epoch  4935\n",
      "Epoch  4936\n",
      "Epoch  4937\n",
      "Epoch  4938\n",
      "Epoch  4939\n",
      "Epoch  4940\n",
      "Epoch  4941\n",
      "Epoch  4942\n",
      "Epoch  4943\n",
      "Epoch  4944\n",
      "Epoch  4945\n",
      "Epoch  4946\n",
      "Epoch  4947\n",
      "Epoch  4948\n",
      "Epoch  4949\n",
      "Epoch  4950\n",
      "Epoch  4951\n",
      "Epoch  4952\n",
      "Epoch  4953\n",
      "Epoch  4954\n",
      "Epoch  4955\n",
      "Epoch  4956\n",
      "Epoch  4957\n",
      "Epoch  4958\n",
      "Epoch  4959\n",
      "Epoch  4960\n",
      "Epoch  4961\n",
      "Epoch  4962\n",
      "Epoch  4963\n",
      "Epoch  4964\n",
      "Epoch  4965\n",
      "Epoch  4966\n",
      "Epoch  4967\n",
      "Epoch  4968\n",
      "Epoch  4969\n",
      "Epoch  4970\n",
      "Epoch  4971\n",
      "Epoch  4972\n",
      "Epoch  4973\n",
      "Epoch  4974\n",
      "Epoch  4975\n",
      "Epoch  4976\n",
      "Epoch  4977\n",
      "Epoch  4978\n",
      "Epoch  4979\n",
      "Epoch  4980\n",
      "Epoch  4981\n",
      "Epoch  4982\n",
      "Epoch  4983\n",
      "Epoch  4984\n",
      "Epoch  4985\n",
      "Epoch  4986\n",
      "Epoch  4987\n",
      "Epoch  4988\n",
      "Epoch  4989\n",
      "Epoch  4990\n",
      "Epoch  4991\n",
      "Epoch  4992\n",
      "Epoch  4993\n",
      "Epoch  4994\n",
      "Epoch  4995\n",
      "Epoch  4996\n",
      "Epoch  4997\n",
      "Epoch  4998\n",
      "Epoch  4999\n",
      "[[  9.00317027e-18   3.43723588e-17   7.52261819e-14   5.66590194e-23\n",
      "    1.22331865e-17   4.36588597e-27   6.78354126e-26   2.43674133e-14\n",
      "    1.15292508e-17   4.78166192e-16   1.59853643e-13   5.68696059e-08\n",
      "    9.99999881e-01   1.07728496e-07   7.03219594e-10   6.64153730e-25\n",
      "    2.43371557e-23   1.68290200e-14   8.50060558e-21   2.59515701e-16\n",
      "    2.96246253e-16]]\n",
      "Epoch:  5000 error Percentage:  0.0783766503446\n"
     ]
    }
   ],
   "source": [
    "sess = tf.Session()\n",
    "sess.run(init_op)\n",
    "\n",
    "batch_size = 1000\n",
    "no_of_batches = int(len(train_input)) / batch_size\n",
    "epoch = 5000\n",
    "for i in range(epoch):\n",
    "    ptr = 0\n",
    "    for j in range(no_of_batches):\n",
    "        inp, out = train_input[ptr:ptr+batch_size], train_output[ptr:ptr+batch_size]\n",
    "        ptr+=batch_size\n",
    "        sess.run(minimize,{data: inp, target: out})\n",
    "    print \"Epoch \",str(i)\n",
    "incorrect = sess.run(error,{data: test_input, target: test_output})\n",
    "print sess.run(prediction,{data: [[[1],[0],[0],[1],[1],[0],[1],[1],[1],[0],[1],[0],[0],[1],[1],[0],[1],[1],[1],[0]]]})\n",
    "print \"Epoch: \", i+1, \"error Percentage: \", 100 * incorrect\n",
    "sess.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}
